• Mac搭建anaconda环境并安装深度学习库


    1. 下载anaconda安装包

    根据自己的操作系统不同,选择不同的安装包Anaconda3-2024.06-1-MacOSX-x86_64.pkg,我用的还是旧的intel所以下载这个,https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/,如果mac用的是M1,M2芯片,需要下后缀为_arm64.pkg

    2. 安装anaconda

    双击打开安装包,一路继续,安装完成打不开请到设置中允许

    3. 配置环境变量

    打开终端:

    source ~/.bash_profile,如果路径中含user/xxx,需要更改用户为自己所在的目录路径,我这里用的opt目录,不用再改,所以直接source ~/.bash_profile,激活环境。

    否则需要更改完成保存之后,激活环境

    测试环境是否安装成功,如果输出一大堆依赖,则代表安装成功:

    conda list

    4. 创建3.11.7版本的虚拟环境

    1. 命令行输入创建3.17版本的虚拟环境命令:

    conda create --name py3117 python=3.11.7

    2. 激活虚拟环境:

    conda activate py3117

    3. 安装常用库:

    conda install anaconda

    4. 将新的虚拟环境添加到Jupyter:

    python -m ipykernel install --name=py3117

    5. 安装pytorch, transformers, dashscope, modelscope, gradio 等深度学习的库,这一步最后启动号jupyter再做。

    6. jupyter notebook安装目录插件

    1. # (安装了目录插件,我们用jupyter notebook读取python文本时就可以看到python的文本目录了,这样方便查看带有目录的python代码文本。)
    2. # 在 cmd黑色命令窗口或者anaconda prompt 执行如下命令, (windows(windows窗口标志)+R,输入cmd,进入cmd命令窗口)
    3. # 第一步:更新pip
    4. python -m pip install --upgrade pip --user -i https://pypi.tuna.tsinghua.edu.cn/simple
    5. # 第二步:更新Jupyter 
    6. pip install --upgrade jupyter -i https://pypi.tuna.tsinghua.edu.cn/simple
    7. # 第三步:安装 jupyter_contrib_nbextensions  
    8. pip install jupyter_contrib_nbextensions -i https://pypi.tuna.tsinghua.edu.cn/simple
    9. # 第四步:配置 nbextension
    10. jupyter contrib nbextension install --user
    11. # 直接使用以上命令报错:
    12. File "/opt/anaconda3/lib/python3.12/site-packages/jupyter_contrib_core/notebook_compat/nbextensions.py", line 6, in
    13. from notebook.extensions import BaseExtensionApp
    14. ModuleNotFoundError: No module named 'notebook.extensions' 
    15. # 解决办法:改用以下命令安装
    16. conda install -c conda-forge jupyter_contrib_nbextensions
    17. # 安装后,再次输入成功
    18. jupyter contrib nbextension install --user
    19. ###安装问题备注:
    20. 出现连接中断之类的,做-i+国内源地址尝试
    21. 例如:pip install --upgrade jupyter
    22. 加国内源地址:  pip install --upgrade jupyter  -i https://pypi.tuna.tsinghua.edu.cn/simple
    23. 常用国内源地址
    24. #清华大学源
    25. https://pypi.tuna.tsinghua.edu.cn/simple
    26. #阿里巴巴源
    27. https://pypi.doubanio.com/simple
    28. #中国科学技术大学源
    29. https://pypi.mirrors.ustc.edu.cn/simple/
    30. #豆瓣源
    31. https://pypi.doubanio.com/simple
    32.     

    # 第五步:启动jupyter notebook,选择 Nbextensions,勾选 Table of Contents(2) ,

    选做步骤
    勾选Collapsible headings---将标题内部的内容全部折叠起来
       Code folding---代码折叠插件,允许你将缩进内容折叠起来,节省屏幕空间
       Hinterland---代码提示自动补全功能

    Jupyter页面打开《各种库和模型安装》代码包后,先把Kernel(内核)改为py3117(学习另外三个代码包时也保持使用) 

    切换好内核后,开始逐一安装深度学习的库。

     5. 安装深度学习的库

    这里可以逐一点击代码框,点Run ,耐心等候下载和安装。下载和安装时,这里会变*,每完成一个代码框,这里会变成数字码。

    如果不想在这里安装,也可以在命令行逐一安装

    1. # python版本必须>3.10
    2. # 推荐在安装库之前,先更新conda
    3. # conda update conda
    4. # 安装dashscope
    5. !pip install dashscope -i https://pypi.tuna.tsinghua.edu.cn/simple
    6. # 安装modelscope
    7. !pip install modelscope -i https://pypi.tuna.tsinghua.edu.cn/simple
    8. # 报错:ERROR: pip's dependency resolver does not currently take into account all the packages that are installed. This behaviour is the source of the following dependency conflicts.
    9. s3fs 2024.3.1 requires fsspec==2024.3.1, but you have fsspec 2024.2.0 which is incompatible.
    10. # 安装pytorch
    11. !pip3 install torch torchvision torchaudio -i https://pypi.tuna.tsinghua.edu.cn/simple
    12. # 安装transformers
    13. !pip install transformers -i https://pypi.tuna.tsinghua.edu.cn/simple
    14. # 安装datasets
    15. !pip install datasets -i https://pypi.tuna.tsinghua.edu.cn/simple
    16. # 安装gradio
    17. !pip install gradio -i https://pypi.tuna.tsinghua.edu.cn/simple
    18. # 下载上课用的预训练模型,warning信息请忽略
    19. from modelscope.models import Model
    20. model = Model.from_pretrained('damo/nlp_bert_fill-mask_chinese-base')
    21. model = Model.from_pretrained('damo/nlp_structbert_zero-shot-classification_chinese-base')

    如果上面的虚拟环境未切换直接用jupyter安装这些库,则安装到了base内核了,则后续再切换到虚拟环境无法安装的,需要到命令行逐一输入命令安装。

    备注: 因为老师给的安装没有用国内镜像,我统一加了国内镜像安装,速度会快些。 

    安装完成各种库和模型后,恭喜你!基本环境完成。 

    7. 注册账号

    注册一个阿里云的账号

    我们这次课上会用到阿里的模型,网址https://bailian.console.aliyun.com/#/model-market

    注册一个Model Scope的账号

    网址https://modelscope.cn/models

    退出虚拟环境:conda deactivate
    删除虚拟环境:conda env remove --name py3117
    现有虚拟环境列表:conda env list

  • 相关阅读:
    ES6 入门教程 15 Proxy 15.2 Proxy 实例的方法 15.2.10 ownKeys() ~ 15.2.12 setPrototypeOf()
    如何加速JavaScript 代码运行速度
    企业可以自己建立大数据平台吗?有哪些好处?
    【Linux】32条指令带你玩转 Linux !
    Maven
    php实现扫码二维码访问指定ID页面登录后自动跳转到该页面的方法
    24计算机考研调剂 | 山东科技大学
    Centos7部署Python3环境
    《30天吃掉那只 TensorFlow2.0》五、TensorFlow的中阶API
    苍穹外卖-day05
  • 原文地址:https://blog.csdn.net/yinshuilan/article/details/140095158