ChatGLM-6B的私有化部署

​​​​​​​安装anaconda

安装conda：

conda查看版本

conda --version

conda切换源

conda config --add channels http://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/
conda config --add channels http://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/
conda config --add channels http://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/pytorch/
conda config --add channels http://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/conda-forge/
conda config --add channels http://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/msys2/
conda config --add channels http://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/menpo/
conda config --add channels http://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/bioconda/
conda config --set show_channel_urls yes

更换完后执行下列命令查看是否更换成功

conda config --show channels

需要删除源的话执行下面操作

conda config --remove-key channels

conda创建环境

conda create -n chatglm3 python=3.9

查看已经创建的环境

conda info --envs

进入conda

conda activate chatglm3

安装pytorch

PyTorch

参考资料：2023最新pytorch安装（超详细版）_努力向前奔跑的小白的博客-CSDN博客

 安装cuda

CUDA Toolkit 12.3 Update 1 Downloads | NVIDIA Developer

参考资料：CUDA安装详细教程_Hard Coder的博客-CSDN博客

下载模型

git clone https://github.com/THUDM/ChatGLM3
cd ChatGLM3

 pip 安装依赖

pip install -r requirements.txt

显卡基本信息查看

nvidia-smi