码农知识堂 - 1000bd
  •   Python
  •   PHP
  •   JS/TS
  •   JAVA
  •   C/C++
  •   C#
  •   GO
  •   Kotlin
  •   Swift
  • Colab跑项目


    这里写目录标题

      • Colab文件目录路径显示
      • 更改colab当前工作文件夹
      • Colab挂载谷歌云盘
      • colab使用命令(从这开始看,前面no zuo no die)
        • 最紧要,首先,修改笔记本设置使用启用gpu![在这里插入图片描述](https://img-blog.csdnimg.cn/591a6c299dd74601855f2678e2d27c46.png)
        • 上传zip文件到 /content/文件夹下
        • 删除非空文件夹需要强制递归删除`!rm -rf 文件夹路径`
        • 进入到yolov5-5.0目录下 `%cd /content/yolov5/yolov5-5.0`
        • 安装环境 `!pip install -r requirements.txt`
        • 添加插件 %load_ext
        • 打开tensorboard再运行train.py程序
        • 刷新tensorboard
        • **更改训练的数据集**
        • 把得到的best.pt下载下来在本地的yolov5项目中,把detect.py 中main函数第一个参数weights对应的权重参数文件改成这个best.pt,就可以测试结果
        • 总结
      • 上传zip文件不完整
        • 解决colab上传大文件速度慢

    Colab文件目录路径显示

    在这里插入图片描述
    上级目录图片超像上传文件,每次进入到上级目录我都不知所措,想要返回到content文件夹下,却不知道该如何应对
    傻了,既然此时是在content的上一级目录,那么content就在当前目录的子文件夹啊!!!!
    我还试图 通过命令 厘清文件夹路径
    在这里插入图片描述
    要想展示的目录路径在content下我还真不知道怎么让他显示,不过能看,只不过没那么简洁,可以只看到content路径下的文件们

    在这里插入图片描述
    别乱动,动乱了再用 !mv xx yy 挽救吧
    在这里插入图片描述
    不能进到/content/下,别问我怎么知道的
    感谢博主指导!

    更改colab当前工作文件夹

    在这里插入图片描述

    colab目录为 /content/
    /content/drive/ 云盘文件

    老老实实待在content文件夹下面,不要去别的地方惹是生非还回不来啦
    害得我步履维艰
    在这里插入图片描述
    参考博客,os.chdir(“drive/My Drive/…”) 这句没明白

    Colab挂载谷歌云盘

    import os
    from google.colab import drive
    drive.mount("/content/drive")
    
    • 1
    • 2
    • 3

    colab使用命令(从这开始看,前面no zuo no die)

    1.首先得会一些命令行的使用(%一般为目录相关,!为执行相关)
    ​

    !nvidia-smi         查看gpu配置
    %cd 目录             切换目录
    %pwd                当前路径
    %dir %ls            当前路径下文件
    !pip install 包      安装包
    !python 文件          运行文件
    cp -rf 源文件目录 目的文件目录    复制文件到想要的目录下
    colab目录为 /content/
               /content/drive/   云盘文件
     
    
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
    • 10

    其实这些目录跟Linux命令差不多,无非加个!%(因为是在jupyter执行的)
    2.如何对项目上传并执行
    ​

    1.上传压缩包或文件夹到谷歌云盘
    2.打开colab并挂载云盘
    3.将文件复制到colab下,也就是从/content/drive/ 复制到/content/
      !mkdir test     当前目录为/content/,不是%cd 切换
       cp -rf /content/drive/MyDrive/text.zip /content/test
    4.!unzip text.zip  切换到test目录下
      为什么要复制到/content/下:因为如果数据集过大,第一个epoch会从云盘一个个提取数据,主要是为什么第一个epoch为什么时间很久,如果文件在colab目录下,会提高读取数据的时间。
    5.这时就差执行了,以我test文件为例
    切换到解压后的文件夹中,执行文件为run.py 还需要指定参数--model TextRNN
    !python run.py --model TextRNN
    
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
    • 10

    执行就行!差不多OK了
    来源于此,还有一个问题colab使用为12个小时一天,如果执行超半个小时没动计算机colab会自动断开,如果我们程序还没执行完就很烦,如何解决???

    最紧要,首先,修改笔记本设置使用启用gpu在这里插入图片描述

    上传zip文件到 /content/文件夹下

    不胡乱操作os.chdir(“…/”),直接默认上传的就在content文件夹下

    !unzip /content/yolov5-5.0.zip -d /content/yolov5
    
    • 1

    如果文件顺利完整上传的化,就会顺利unzip解压
    在这里插入图片描述

    删除非空文件夹需要强制递归删除!rm -rf 文件夹路径

    举个例子
    强制递归删除命令:文件位置可以右键复制地址

    !rm -rf /content/yolov5-7.0.zip
    
    • 1

    进入到yolov5-5.0目录下 %cd /content/yolov5/yolov5-5.0

    在这里插入图片描述

    安装环境 !pip install -r requirements.txt

    在这里插入图片描述
    在这里插入图片描述

    添加插件 %load_ext

    %load_ext tensorboard
    再次启动 reload

    启动tensorboard 中间不能有空格 先启动再加载,日志再runs/train中

    打开tensorboard再运行train.py程序

    %tensorboard --logdir=runs/train
    
    • 1

    在这里插入图片描述

    !python train.py --rect
    
    • 1

    启动矩阵推理训练
    在这里插入图片描述

    刷新tensorboard

    在这里插入图片描述
    如果一开始 tensorboard不显示,是因为上传的zip文件里面runs文件夹下train文件夹下没有exp文件,没训练过,但是不影响,继续在下面通过!python train.py --rect运行就好
    在这里插入图片描述
    GPU就是快啊!!!
    此次训练的日志保存再exp8
    在这里插入图片描述
    在这里插入图片描述
    tensorboard里显示loss的变化
    在这里插入图片描述
    tensorboard数据:runs/train/exp/events.out.tfevents.1678366117.03e634abd4f1.7156.0

    超参数:hyp.yaml

    类别实例:labels.jpg 即每个类别出现的次数

    训练结果:results.csv

    更改训练的数据集

    对整个coco数据集训练,修改data参数

    !python train.py --data=data/coco.yaml
    
    • 1

    在这里插入图片描述

    把得到的best.pt下载下来在本地的yolov5项目中,把detect.py 中main函数第一个参数weights对应的权重参数文件改成这个best.pt,就可以测试结果

    把得到的best.pt下载下来在本地的yolov5项目中,把detect.py 中main函数第一个参数weights对应的权重参数文件改成这个best.pt,就可以测试结果

    总结

    运行train.py
    下载的是yolov5-v5版本

    1、把模型文件的压缩文件上传到colab
    2、!unzip /content/yolov5-5.0.zip解压缩
    3、%cd /content/yolov5-5.0转移到当前文件夹
    4、!pip install -r requirements.txt安装所有需要的库
    5、打开画学习曲线的tensorboard工具
    所有的训练loss等结果都会记录在tuns/train的文件夹中

    %reload_ext tensorboard
    %tensorboard --logdir=runs/train
    
    • 1
    • 2

    6、运行!python train.py --rect,再刷新tensorboard,就可以看到训练过程了
    (服务器训练模型的速度是真滴快!)

    原文链接(有些detect的可以一看):https://blog.csdn.net/weixin_45727991/article/details/127500046

    上传zip文件不完整

    在这里插入图片描述

    unzip:  cannot find or open /content/yolov5-5.0.zip, /content/yolov5-5.0.zip.zip or /content/yolov5-5.0.zip.ZIP.
    
    • 1

    解决colab上传大文件速度慢

    oneDrive之前好像被我关掉了
    谷歌云端硬盘入口
    c参考

    https://zhuanlan.zhihu.com/p/604874981

  • 相关阅读:
    C#常识篇(一)
    Karmada更高效地实现故障转移
    【树状数组该回炉重造了】Codeforces Round #813 (Div. 2) E2. LCM Sum (hard version)
    分布式事务理论和解决方案
    LVS负载均衡群集
    新电脑第一次重启后蓝屏
    大数据Flink(一百零三):SQL 表值聚合函数(Table Aggregate Function)
    PHP 将json格式数据转换成数组的方法
    7个数据科学Python库将为您节省大量时间
    requirements.txt文件如何生成及导入
  • 原文地址:https://blog.csdn.net/qq_51070956/article/details/134503497
  • 最新文章
  • 攻防演习之三天拿下官网站群
    数据安全治理学习——前期安全规划和安全管理体系建设
    企业安全 | 企业内一次钓鱼演练准备过程
    内网渗透测试 | Kerberos协议及其部分攻击手法
    0day的产生 | 不懂代码的"代码审计"
    安装scrcpy-client模块av模块异常,环境问题解决方案
    leetcode hot100【LeetCode 279. 完全平方数】java实现
    OpenWrt下安装Mosquitto
    AnatoMask论文汇总
    【AI日记】24.11.01 LangChain、openai api和github copilot
  • 热门文章
  • 十款代码表白小特效 一个比一个浪漫 赶紧收藏起来吧!!!
    奉劝各位学弟学妹们,该打造你的技术影响力了!
    五年了,我在 CSDN 的两个一百万。
    Java俄罗斯方块,老程序员花了一个周末,连接中学年代!
    面试官都震惊,你这网络基础可以啊!
    你真的会用百度吗?我不信 — 那些不为人知的搜索引擎语法
    心情不好的时候,用 Python 画棵樱花树送给自己吧
    通宵一晚做出来的一款类似CS的第一人称射击游戏Demo!原来做游戏也不是很难,连憨憨学妹都学会了!
    13 万字 C 语言从入门到精通保姆级教程2021 年版
    10行代码集2000张美女图,Python爬虫120例,再上征途
Copyright © 2022 侵权请联系2656653265@qq.com    京ICP备2022015340号-1
正则表达式工具 cron表达式工具 密码生成工具

京公网安备 11010502049817号