在矩池云使用安装AgentTuning

AgentTuning 是清华大学和智谱AI共同推出的 AI Agent方案。

AgentTuning可以令LLM具备更强大的泛化能力，而且同时保持其通用语言能力，项目中包含的AgentInstruct 数据集和 AgentLM 模型均已开源。

项目地址：https://github.com/THUDM/AgentTuning

在矩池云上安装AgentTuning的具体方法如下。

1 租用机器

进入矩池云官网 https://matpool.com/
选择“产品服务” “GPU”
选择单卡3090或2卡A2000 （保证总显存 >=24G）

2 基础镜像

选择基础镜像名称为“Pytorch 2.0.1”

3 安装信息

使用魔搭方法仅需一行代码即可完成模型文件的下载，根据官方给出的示例快速上手：
魔搭网址 https://modelscope.cn/models/ZhipuAI/agentlm-7b/summary

pip install modelscope 
1

import torch
from modelscope import Model, AutoTokenizer

model = Model.from_pretrained("ZhipuAI/agentlm-7b", revision='master', device_map='auto', torch_dtype=torch.float16)
tokenizer = AutoTokenizer.from_pretrained("ZhipuAI/agentlm-7b", revision='master')
prompt = """<s>[INST] <<SYS>>
You are a helpful, respectful and honest assistant. 
<</SYS>>
There's a llama in my garden 😱 What should I do? [/INST]"""
inputs = tokenizer(prompt, return_tensors="pt")
# Generate
generate_ids = model.generate(inputs.input_ids.to(model.device), max_new_tokens=512)
print(tokenizer.batch_decode(generate_ids, skip_special_tokens=True, clean_up_tokenization_spaces=False)[0])

1
2
3
4
5
6
7
8
9
10
11
12
13
14

实测显存占用情况

单卡 A3090 ，一次推理的峰值情况如下，以供参考