码农知识堂 - 1000bd
  •   Python
  •   PHP
  •   JS/TS
  •   JAVA
  •   C/C++
  •   C#
  •   GO
  •   Kotlin
  •   Swift
  • AutoDL使用教程:1)创建实例 2)配置环境+上传数据 3)PyCharm2021.3专业版远程连接


    目录

    • 写在前面
    • 重要的参考链接:
    • 一、创建实例
    • 二、配置环境+上传数据流程
      • (1)先下载好镜像,然后通过Xftp软件上传
      • (2)上传数据到AutoDL自带的网盘中
        • 1. 直接上传(每次只能上传单个文件,建议上传zip压缩包)
        • 2. 借助Xftp软件(不限制上传的文件个数,可直接上传文件夹)
          • 1. 安装Xftp
          • 2. 借助Xftp与AutoDL网盘连接,开始上传or下载数据
            • 2.1 上传or下载数据
            • 2.2 Xtfp与AutoDL连接
      • (3)配置环境
    • 三、远程连接到本地(PyCharm2021.3专业版)
    • 四、AutoDL实时查看tensorboard曲线情况

    写在前面

    1. 一定要先进行学生认证,这样就能1.88/h(我之前忘了进行学生认证,然后就一直是1.98/h,陆续用了300元之后才发现没有认证。这么算下来,多花了30多块钱!/(ㄒoㄒ)/~~)
    2. 上传数据有两种方式:1.直接在网盘中上传 2.通过Xftp上传。详见二(2)中有两种上传方式步骤。我建议如果上传的只是单个文件,就直接用网盘上传(zip压缩包上传,然后再用unzip解压)。如果是多个文件,就通过Xtfp上传下载比较方便。

    重要的参考链接:

    • 强烈打call:创建AutoDL云服务器实例并安装GPU环境(三)
    • 【配置环境】RTX3050安装pytorch(安装CUDA11.3版本)

    一、创建实例

    1. 首先进入AutoDL官网:AutoDL-品质GPU租用平台-租GPU就上AutoDL
    2. 进行学生注册登录(可以领10元的代金券)
    3. 点击右上角的控制台,然后如图点击租用新实例在这里插入图片描述
    4. 租用新实例的参数选择,选好了之后点击右下角的立即创建即可

    在这里插入图片描述

    在这里插入图片描述

    ❀❀❀❀❀❀❀❀❀❀❀❀❀❀❀❀❀❀❀❀❀❀❀❀❀❀❀❀❀❀❀❀❀
    其实可以先在基础镜像中看一下是否有自己需要的配置(假如你需要如下图所示的torch1.10-cuda113),有的话,就不需要像我这样上图这样去选择然后再去自己配置环境。

    并且!如果你选择使用基础镜像,那么在等会儿的二(3)配置环境中,除了5~10步不用进行之外,其它的还都要进行,特别是步骤11去验证一下是否能顺利加载成功PyTorch。你的基础镜像环境名叫base,所以每次你需要直接用基础镜像运行代码时,还是需要调用命令conda activate base来激活进入到你的基础镜像中。

    如果进入到基础镜像,发现不太好使用,那么你仍然可以继续我二的步骤,去下载好镜像然后再上传,再配置虚拟环境。

    在这里插入图片描述

    ❀❀❀❀❀❀❀❀❀❀❀❀❀❀❀❀❀❀❀❀❀❀❀❀❀❀❀❀❀❀❀❀❀

    1. 租用成功之后的界面

    在这里插入图片描述

    1. 更新内容:初始化网盘(即可以开始使用该区域的公用数据文件夹autodl-nas)在这里插入图片描述

    2. 更新内容:AutoDL最近更新很快哇!多了一个可以存放数据的地方autodl-fs,看它的描述,是跟autodl-nas一样的用法,貌似性能还好一点。那么以后就可以将数据、代码存放在这两个公用的地方了!妙哉~(即,如果autodl-nas文件夹免费的20G用完了,就可以初始化autodl-fs文件夹,继续在这里面存放文件)

    在这里插入图片描述

    在这里插入图片描述


    二、配置环境+上传数据流程

    写在前面:当只是需要上传一个zip压缩包时,或者其他类型的单个文件时,建议直接进入到我的网盘中上传。因为这样可以少了连接到Xftp这个步骤,以及可以少费点钱。网盘上传步骤可参考👉AutoDL上传数据详细步骤(自己用的步骤,可能没有其他大佬用的那么高级)

    (1)先下载好镜像,然后通过Xftp软件上传

    • 直接点击可下载:(我配置的环境就是用到了以下这3个镜像,点击下载即可)
      • torch-1.10.0+cu111-cp38-cp38-linux_x86_64.whl
      • torchvision-0.11.0+cu111-cp38-cp38-linux_x86_64.whl
      • torchaudio-0.10.0+cu111-cp38-cp38-linux_x86_64.whl(这个包使用于语音方面的,按道理来说是可以不用下载安装的,但是还是跟着教程都下载安装了可能会比较完善些)
      • 【更新】上面的3个链接如果点击下载不了的话,可以进入我这个百度网盘下载:AutoDL使用教程-torch镜像
    • 如果需要其他版本的镜像,可进入到这个链接,这是所有torch系列的镜像列表:Links for torch、Links for torchaudio、Links for torchvision(有时候会卡着,多试几次就能进去了)[更新:找到一个镜像,可以根据自己想要的cuda版本选择:https://mirror.sjtu.edu.cn/pytorch-wheels/?mirror_intel_list]

    (2)上传数据到AutoDL自带的网盘中

    先说明好处和注意事项:

    • 好处:就算是释放了实例,这些代码以及运行数据还是会存放在网盘中(也就是比较安心嘛,而且用自带的AutoDL网盘也比较方便。实例会30天之后自动释放的,但是网盘存放的数据也会在90天后释放)
    • 注意事项:创建实例是在哪个区,就使用哪个区的网盘!避免跨区无法使用一些数据(在这个界面能够看到你的数据,可以下载or删除)

    在这里插入图片描述

    在这里插入图片描述

    1. 直接上传(每次只能上传单个文件,建议上传zip压缩包)

    只上传一个zip压缩包,以及在AutoDL中解压的方式,可参考博客:AutoDL上传数据详细步骤(自己用的步骤,可能没有其他大佬用的那么高级)


    2. 借助Xftp软件(不限制上传的文件个数,可直接上传文件夹)

    1. 安装Xftp

    Xftp的作用:在Windows系统下,如果想和Linux系统进行文件传输,可以使用Xftp工具。

    • Xftp官网下载地址
    • 参考教程:
      • Windows 下 xshell 和 xftp 安装与使用
      • Xftp的下载和安装教程(图文教程)
      • Xftp使用方法
    2. 借助Xftp与AutoDL网盘连接,开始上传or下载数据
    2.1 上传or下载数据

    注意:

    1. 上传or下载数据时,请开启无卡模式开机,为了省钱!!!

    2. 上传or下载数据的简单方式:直接在Xftp中拖动文件

      • 左边的拖动到右边:本地->AudoDL(上传)
      • 右边的拖动到左边:AutoDL->本地(下载)

    2.2 Xtfp与AutoDL连接

    (1)点击无卡模式开机(不一定要是无卡模式哈,只要开机就行)

    在这里插入图片描述

    (2)开机后就获得了:登陆指令、密码

    在这里插入图片描述

    (3)打开Xftp进行连接

    在这里插入图片描述

    假设步骤(2)得到的登陆指令是:ssh -p 12300 root@rxxxxn-0.autodl.com

    那么下图中的主机和端口号分别是:

    • 用户名:root
    • 主机HOST:rxxxxn-0.autodl.com (@后的所有内容)
    • 端口号:12300
    • 密码(最后一行):是步骤(2)直接得到的

    新建会话:

    在这里插入图片描述
    打开已有会话:

    在这里插入图片描述

    与AutoDL的连接成功界面:

    在这里插入图片描述

    上传镜像到网盘中:

    在这里插入图片描述

    (3)配置环境

    1. 点击进入JupyterLab

    在这里插入图片描述

    1. 进入终端

    在这里插入图片描述

    1. 编辑文件+刷新,使得能使用conda,以进行后续的环境配置
    • 输入:vim ~/.bashrc
    • 开始进行编辑:输入i
    • 移动到文件的最后一行,加上source /root/miniconda3/etc/profile.d/conda.sh
    • 保存并退出:按Esc键,输入:wq,再回车
    • 输入bash重启终端(即,刷新一下)

    在这里插入图片描述

    1. 进入环境:conda activate base
    2. 创建新环境:conda create -n py38 python=3.8
    3. 进入新环境,输入:conda activate py38
    4. 安装torch(注意一定要和自己创建实例的环境相对应)(默认是挨着顺序进行下来的哈,已经完成了【二(1)下载镜像】的部分,以下3个镜像都在autodl-nas/目录下)
      输入命令:pip install autodl-nas/torch-1.10.0+cu111-cp38-cp38-linux_x86_64.whl
      (静等几分钟,不要着急,它只是卡住了~)

    在这里插入图片描述

    1. 安装torchvision (按下Tab键可自动补齐名称)
      输入命令:pip install autodl-nas/torchvision-0.11.0+cu111-cp38-cp38-linux_x86_64.whl

    在这里插入图片描述

    1. 安装torchaudio
      输入命令:pip install autodl-nas/torchaudio-0.10.0+cu111-cp38-cp38-linux_x86_64.whl

    在这里插入图片描述

    1. jupyter页面更新(即在jupyter页面里增加一个基础环境:py38)
      • 在py38环境中输入conda install ipykernel
      • 再输入:ipython kernel install --user --name=py38

    在这里插入图片描述

    1. 按照配置好环境后,可以点击Notebook下的py38进去写代码了(即在py38环境下,使用jupyternotebook)(如果没有像我这样自己上传镜像然后配置的同学,就不用选择py38了,就选择左边的Python 38进入到jupyter后进行下面步骤即可)

    注意:到目前为止,为了省钱还是开的无卡模式,所以为了验证环境已经配置完善,需要先关机,再直接开机(不要再选择无卡模式了,此时就是要开始烧钱了,1.88/h)

    输入以下代码验证:

    import torchvision
    import torch
    print(torchvision.__version__)
    print(torch.cuda.is_available())
    # 0.11.0+cu111
    # True
    

    在这里插入图片描述

    三、远程连接到本地(PyCharm2021.3专业版)

    • 前提:必须是PyCharm专业版才能进行远程连接使用
      • PyCharm官网下载地址:Download PyCharm
      • 超级超级推荐视频教程,就算没有教育邮箱也能使用到2099年!👉最新版pycharm2021.3专业版长久使用教程,逐步讲解,超详细(先看2p!)
        • 对应的文章就更推荐啦!👉【pycharm2021.3专业版安装激活教程,逐步讲解,巨详细】
        • 文件我同步上传到百度网盘上了:链接-提取码: ehn3
      • PyCharm专业版安装教程:软件安装 | PyCharm-专业版免费安装(这个是学生认证教育邮箱后免费使用的过程)

    参考以下文档肯定可以开始进行远程开发的,再多注意以下图中的地方即可:

    • 官方帮助文档:PyCharm远程开发 (这个远程不是指不用上传数据了哈,只是可以直接在PyCharm的终端中开启训练,数据还是需要上传才行)
    • Pycharm远程开发的例子:【深度学习】Pycharm连接远程服务器(AutoDL)训练YOLOv5

    在这里插入图片描述

    1. 先用PyCharm专业版随便打开一个项目

    2. Tools -> Deployment -> Configuration
      在这里插入图片描述

    3. 添加SFTP
      在这里插入图片描述

    4. 点击...进入SSH Configurations
      在这里插入图片描述

    5. 完成配置
      在这里插入图片描述

    6. 显示云服务器的文件目录
      在这里插入图片描述

    7. 切换到root/autodl-nas云盘目录下,就能看到我们上传的数据和代码了
      在这里插入图片描述
      在这里插入图片描述

    8. 连接到远程终端
      在这里插入图片描述

    9. 查看代码内容,并重新上传更新代码
      在这里插入图片描述
      在这里插入图片描述

    10. 运行代码
      在这里插入图片描述

    四、AutoDL实时查看tensorboard曲线情况

    • 可参考我的博客:AutoDL实时查看tensorboard曲线情况
  • 相关阅读:
    最长上升子序列
    详解容灾架构中的脑裂问题
    Linux修改默认登录端口22
    嵌入式Linux裸机开发(六)EPIT 定时器
    string 类以及模拟实现
    力扣labuladong——一刷day44
    【代码随想录算法训练营】第56天 | 第九章 动态规划(十六)+ 复习第28天 第六章 回溯(四)
    jsArray数组复制方法性能测试2207292307
    React Native V0.74 — 稳定版已发布
    ChatGPT科研与AI绘图及论文高效写作教程
  • 原文地址:https://blog.csdn.net/LWD19981223/article/details/127085811
  • 最新文章
  • 攻防演习之三天拿下官网站群
    数据安全治理学习——前期安全规划和安全管理体系建设
    企业安全 | 企业内一次钓鱼演练准备过程
    内网渗透测试 | Kerberos协议及其部分攻击手法
    0day的产生 | 不懂代码的"代码审计"
    安装scrcpy-client模块av模块异常,环境问题解决方案
    leetcode hot100【LeetCode 279. 完全平方数】java实现
    OpenWrt下安装Mosquitto
    AnatoMask论文汇总
    【AI日记】24.11.01 LangChain、openai api和github copilot
  • 热门文章
  • 十款代码表白小特效 一个比一个浪漫 赶紧收藏起来吧!!!
    奉劝各位学弟学妹们,该打造你的技术影响力了!
    五年了,我在 CSDN 的两个一百万。
    Java俄罗斯方块,老程序员花了一个周末,连接中学年代!
    面试官都震惊,你这网络基础可以啊!
    你真的会用百度吗?我不信 — 那些不为人知的搜索引擎语法
    心情不好的时候,用 Python 画棵樱花树送给自己吧
    通宵一晚做出来的一款类似CS的第一人称射击游戏Demo!原来做游戏也不是很难,连憨憨学妹都学会了!
    13 万字 C 语言从入门到精通保姆级教程2021 年版
    10行代码集2000张美女图,Python爬虫120例,再上征途
Copyright © 2022 侵权请联系2656653265@qq.com    京ICP备2022015340号-1
正则表达式工具 cron表达式工具 密码生成工具

京公网安备 11010502049817号