ChatGLM-中英对话大模型-6B试用说明

搭建环境

pip install modelscope==1.4.3 -f https://modelscope.oss-cn-beijing.aliyuncs.com/releases/repo.html
pip install protobuf==3.20.0 transformers==4.27.1 icetk cpm_kernels
1
2

下载模型

from modelscope import snapshot_download
model_dir = snapshot_download("ZhipuAI/ChatGLM-6B", revision='v1.0.19')
1
2

测试模型

from modelscope.utils.constant import Tasks
from modelscope import Model
from modelscope.pipelines import pipeline
model = Model.from_pretrained('ChatGLM-6B', revision='v1.0.19').half().cuda()
pipe = pipeline(task=Tasks.chat, model=model)
inputs = {'text':'你好', 'history': []}
result = pipe(inputs)
inputs = {'text':'介绍下西安交通大学', 'history': result['history']}
result = pipe(inputs)
print(result)

1
2
3
4
5
6
7
8
9
10
11

结果

{'response': '西安交通大学是中国著名的综合性研究型大学之一，创建于1896年，其前身是创立于1896年的南洋公学，是中国最早实行近代高等教育制度的学校之一。
西安交通大学位于中国陕西省西安市，是中国高水平大学建设高校、国家“211工程”和“985工程”重点支持高校，也是世界一流大学建设高校(A类)。\n\n学校拥有完善的本科、硕士和博士教育体系，覆盖了理、工、医、管、文、法、经济等多个学科领域，其重点学科包括数学、物理学、化学、材料科学、工程学、计算机科学、临床医学、工商管理等。
西安交通大学还积极推动国际化发展，与世界上众多知名高校和研究机构建立了广泛的合作关系，开展了多项国际化项目和合作研究。学校的学术研究和教育质量深受国内外认可。', 'history': [('你好', '你好👋！我是人工智能助手 ChatGLM-6B，很高兴见到你，欢迎问我任何问题。'), ('介绍下西安交通大学', '西安交通大学是中国著名的综合性研究型大学之一，创建于1896年，其前身是创立于1896年的南洋公学，是中国最早实行近代高等教育制度的学校之一。\n\n西安交通大学位于中国陕西省西安市，是中国高水平大学建设高校、国家“211工程”和“985工程”重点支持高校，也是世界一流大学建设高校(A类)。\n\n学校拥有完善的本科、硕士和博士教育体系，覆盖了理、工、医、管、文、法、经济等多个学科领域，其重点学科包括数学、物理学、化学、材料科学、工程学、计算机科学、临床医学、工商管理等。\n\n西安交通大学还积极推动国际化发展，与世界上众多知名高校和研究机构建立了广泛的合作关系，开展了多项国际化项目和合作研究。学校的学术研究和教育质量深受国内外认可。')]}

1
2
3
4