服务器创建虚拟环境跑代码

一、前言

最近忙着在服务器上跑代码

学习积累了一些经验技巧

这里用来记录分享给大家

二、创建虚拟环境用来跑代码

下面我会以一个实例为模板，学习完之后，再删掉

不会占用大家的服务器

1、连接上服务器

比如我的连接方式为：ssh -p 你的编号 username-host

2、创建虚拟环境

这里我以一篇代码为例

创建虚拟环境

conda create -n KDDocRE python==3.7.4
1

3、进入虚拟环境

conda activate KDDocRE
1

4、安装cuda

conda install cudatoolkit=10.2
1

如果速度有些慢的话可以考虑更换清华源

conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/conda-forge 
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/msys2/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/pytorch/    
conda config --set show_channel_urls yes
1
2
3
4
5

5、安装PyTorch

这里给大家提供两种方式安装

pip3 install torch torchvision torchaudio 

或者

conda install pytorch torchvision torchaudio cudatoolkit=10.2 -c pytorch
1
2
3
4
5

两者都可以，但是一定要确认好你的版本号

官网在这里

6、安装Transformer

pip install transformers==4.8.2
1

这里读者注意一下，如果三方库后面没有加上版本号

会默认为安装最新版本

如果已经安装过了其他版本

可以考虑再次安装指定版本

之前的版本会自动卸载（下图二）

7、安装numpy

pip install numpy==1.19.4
1

8、安装apex

这个三方库比较难安装

git clone https://github.com/NVIDIA/apex
cd apex
pip install -v --disable-pip-version-check --no-cache-dir --global-option="--cpp_ext" --global-option="--cuda_ext" ./
1
2
3

如有报错请参考这篇文章

9、安装opt-einusm

pip install opt_einsum==3.3.0
1

10、安装axial-attention

pip install axial_attention==0.6.1
1

11、安装ujson

pip install ujson
1

12、安装tqdm

pip install tqdm
1

13、跑代码

以上环境都配置完成

接下来可以用pycharm打开整个文件

我依然以上面那个项目为例

打开以后是这个样子

然后使用pycharm远程连接服务器开始愉快的跑代码了

远程连接服务器的文章在这

具体如何把代码跑起来

一般项目中的READ.md都会有介绍

13、退出环境

conda deactivate
1

14、查看当前虚拟环境列表

conda env list
1

15、删除环境

conda remove -n KDDocRE
1

如此以来，我们就完成了环境创建，跑代码，删除环境等操作

可以拿自己的项目练练手啦