• PyTorch - 高效快速配置 Conda + PyTorch 环境 (解决 segment fault )


    欢迎关注我的CSDN:https://spike.blog.csdn.net/
    本文地址:https://spike.blog.csdn.net/article/details/134463035

    PyTorch

    在配置算法项目时,因网络下载速度的原因,导致默认的 conda 与 pytorch 包安装缓慢,需要配置新的 conda 与 pip 源,以及下载安装 pytorch 环境。

    1. 配置 conda 与 pip 源

    配置 conda 清华源,vim ~/.condarc 添加:

    channels:
      - defaults
    show_channel_urls: true
    default_channels:
      - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main
      - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/r
      - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/msys2
    custom_channels:
      conda-forge: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
      msys2: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
      bioconda: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
      menpo: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
      pytorch: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
      simpleitk: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
    channel_priority: disabled
    allow_conda_downgrades: true
    
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
    • 10
    • 11
    • 12
    • 13
    • 14
    • 15
    • 16

    配置 pip 阿里云源,先删除其他 pip 配置,再配置新的 pip 源,即:

    rm /opt/conda/pip.conf
    rm /root/.config/pip/pip.conf
    vim ~/.pip/pip.conf
    
    • 1
    • 2
    • 3

    配置 pip 源包括 阿里云(aliyun) 与 Nvidia,如下:

    [global]
    no-cache-dir = true
    index-url = http://mirrors.aliyun.com/pypi/simple/
    extra-index-url = https://pypi.ngc.nvidia.com
    trusted-host = mirrors.aliyun.com pypi.ngc.nvidia.com
    
    • 1
    • 2
    • 3
    • 4
    • 5

    2. PyTorch

    安装 conda 环境,初始化 conda和更新 conda,再创建特定的 conda 环境,即:

    conda init bash
    source ~/.bashrc
    conda update -n base -c conda-forge conda
    conda env list
    conda create -y -n [your name] python=3.9
    
    • 1
    • 2
    • 3
    • 4
    • 5

    需要注意,尽量指定 python 版本。

    PyTorch 安装官网:https://pytorch.org/get-started/locally/,之前版本的路径:https://pytorch.org/get-started/previous-versions/

    主要包括 2 个版本:最新的 2.+,之前的1.31+版本。根据网络条件,选择不同的安装方式,需要注意的是:

    可以根据具体的安装命令选择下载的包,例如:

    pip install torch==1.13.1+cu117 torchvision==0.14.1+cu117 torchaudio==0.13.1 --extra-index-url https://download.pytorch.org/whl/cu117
    
    • 1

    需要注意:

    1. 选择正确的 cuda 版本,如 cu117。
    2. 选择正确的 python 版本,这个与创建 conda 环境相关,也可以进入 python 命令查看。
    3. 选择正确的环境,例如 linux_x86_64,是一般服务器的环境。

    例如下载地址 https://download.pytorch.org/whl/,则需要下载的包:

    pip install torch-1.13.1+cu117-cp39-cp39-linux_x86_64.whl
    pip install torchvision-0.14.1+cu117-cp39-cp39-linux_x86_64.whl
    pip install torchaudio-0.13.1+cu117-cp39-cp39-linux_x86_64.whl
    
    • 1
    • 2
    • 3

    可以上传至百度网盘,使用 bypy 包下载到服务器,使用 pip 进行安装,注意安装顺序是torch、torchvision、torchaudio,其他包默认安装,即可。

    Baidu

    需要注意的是,如果遇到 segment fault ,参考 蛋白质结构预测 ESMFold 算法的工程配置

    import torch
    segment fault(core dumped) # 报错
    
    • 1
    • 2

    则使用 unset LD_LIBRARY_PATH,即可,并且在文件 .bashrc.profile/etc/profile中查看,是否清除。

    cat ~/.bashrc | grep LD_LIBRARY_PATH
    cat ~/.profile | grep LD_LIBRARY_PATH
    cat /etc/profile | grep LD_LIBRARY_PATH
    
    • 1
    • 2
    • 3

    PyTorch 的简易测试命令:

    python
    
    import torch
    print(torch.__version__)  # 1.13.1
    print(torch.cuda.is_available())  # True
    exit()
    
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
  • 相关阅读:
    Mybatis用到的设计模式
    ThinkingPython | 关于Programing 和 Debugging的认识
    聊城办理ISO认证企业须知
    vue 项目 前端 模拟后端接口数据(vue2,vue3)
    docker---dockerfile相关知识
    【PG】PostgreSQL查看与修改参数
    【Nginx】(二)Nginx 工作流程与模块功能详解
    Revit二次开发——视图
    动手写sql 《牛客网80道sql》
    【MATLAB的方程组求解】
  • 原文地址:https://blog.csdn.net/u012515223/article/details/134463035