清华chatGLM2-6B windows本地安装教程

电脑环境配置

• 显卡驱动：12.2
• cuda：11.8
• cudnn：v8.9.5
• pytorch：2.0.1
• python：3.10

**应严格按照各版本进行安装，以免后面遇到一系列未知问题。**

显卡驱动安装教程

博客地址：https://blog.csdn.net/weixin_46530492/article/details/133029584?spm=1001.2014.3001.5502

cuda+cudnn安装教程

博客地址：https://blog.csdn.net/weixin_46530492/article/details/133024073?spm=1001.2014.3001.5502

pytorch安装教程

博客地址：https://blog.csdn.net/weixin_46530492/article/details/133029441?spm=1001.2014.3001.5502

chatGLM2-6B配置教程

项目克隆

 git clone https://github.com/THUDM/ChatGLM2-6B
1

• 安装依赖

 pip install -r requirements.txt
1

• 从huggingface下载模型
  之前有人推荐LFS下载，但是我还是没法成功，只能手动下载

git clone https://huggingface.co/THUDM/chatglm2-6b
1

小型文件可以clone下来，但是好几G的model.bin文件只能手动下载。

部署虚拟环境

为避免与平时使用的python环境以及python工具包冲突，建议使用venv创建python虚拟环境进行部署

python -m venv your_venv_name
1

cd venv\Scripts  #切换路径
activate   #激活虚拟环境
1
2

模型量化

默认情况下，模型以 FP16 精度加载，运行上述代码需要大概 13GB 显存。如果你的 GPU 显存有限，可以尝试以量化方式加载模型，使用方法如下：

 # 按需在web_demo.py中修改，目前只支持 4/8 bit 量化
 model = AutoModel.from_pretrained("THUDM/chatglm2-6b", trust_remote_code=True).quantize(4).cuda()
1
2

这是int4量化，其中的预训练文件我们已经下载，文件路径应改为实际路径，比如
我的

"E:\coding\chatGLM2\chatGLM2_model\chatglm2-6b"
1

• 启动cli_demo.py

本地命令行调用，直接运行或者python cli_demo.py

• 启动web_demo.py

gradio界面生成，直接运行或者python web_demo.py，gradio界面在国内访问不太方便。

• 启动web_demo2.py
  

streamlit界面生成，直接运行或者python web_demo2.py都会遇到组件属性不存在的现象

AttributeError: st.session_state has no attribute "history". Did you forget to initialize it? More info: https://docs.streamlit.io/library/advanced-features/session-state#initialization
1

应使用streamlit run web_demo2.py的方式运行

streamlit国内访问良好。

• 输入prompt，模型开始运行
  右上角可以看到RUNNING，说明模型开始运行
  
  等待模型运行结果即可。