码农知识堂 - 1000bd
  •   Python
  •   PHP
  •   JS/TS
  •   JAVA
  •   C/C++
  •   C#
  •   GO
  •   Kotlin
  •   Swift
  • 【Python报错】train epoch数据读取for i, batch in enumerate(train_loader)失败?卡住?


    已实现:根据路径加载图像和目标,即 train_loder内的数据样式对应 [image , target]

    现目标:将数据输入到模型中进一步处理

    做法:传统样式,不过多叙述。

    1. for i, batch in tqdm(enumerate(train_loader), desc=f
    2. "Epoch: {epoch + 1}/{epochs}. Loop: Train",
    3. total=len(train_loader))
    4. if is_rank_zero(args) else enumerate(train_loader):

     问题:报错,各种报错,因为是复盘整理,改错一个出现另一个,就全贴在这啦!

    • for i, batch in enumerate(train_loader)
    • exception: no description for  for i, batch in enumerate(train_loader):
    • python NotImplementedError no description
    • Caught IndexError in DataLoader worker process 0
    • raise NotImplementedError NotImplementedError

    思考:关于借鉴数据处理的过程,因此有些参数实际没有理解全面。 

    1. dataloader里面num_worker的问题,设置为0、1?取决于是否多线程加载,加载的进程数,0代表不使用多进程。设置问题,有的会出现数据读取卡住情况。
    2. dataloader的参数设置,自定sample,那么shuffle=False,两者互斥。
    3. 优先检查train_loader样式,是否符合输入,Debug~
    4. 反复失败,新建文件重新编程,离谱成功。(太痛了!建议优先尝试)

    5. 缩进问题,规范化,命名问题,基础错误就不明说了。(该)

    推荐学习:

    • tqdm介绍及常用方法
    • Dataloader重要参数与内部机制
    • Pytorch DataLoader详解 | zdaiot
    • Python enumerate() 函数
    • Python迭代DataLoader时出现TypeError: Caught TypeError in DataLoader worker process 。
  • 相关阅读:
    spark集群部署(第三弹)
    代理IP与Socks5代理:跨界电商智能爬虫与出海之道
    vue的生命周期
    【leetcode】矩阵中的距离
    ubuntu, nvidia driver, cuda, cudnn, pytorch-gpu版本安装
    (附源码)node.js宠物医生预约平台 毕业设计 030945
    创业公司节省成本、减少支出都有哪些招?
    C++设计模式-生成器(Builder)
    PostgreSQL基本操作
    excel的vlookup函数用法
  • 原文地址:https://blog.csdn.net/MengYa_Dream/article/details/126952353
  • 最新文章
  • 攻防演习之三天拿下官网站群
    数据安全治理学习——前期安全规划和安全管理体系建设
    企业安全 | 企业内一次钓鱼演练准备过程
    内网渗透测试 | Kerberos协议及其部分攻击手法
    0day的产生 | 不懂代码的"代码审计"
    安装scrcpy-client模块av模块异常,环境问题解决方案
    leetcode hot100【LeetCode 279. 完全平方数】java实现
    OpenWrt下安装Mosquitto
    AnatoMask论文汇总
    【AI日记】24.11.01 LangChain、openai api和github copilot
  • 热门文章
  • 十款代码表白小特效 一个比一个浪漫 赶紧收藏起来吧!!!
    奉劝各位学弟学妹们,该打造你的技术影响力了!
    五年了,我在 CSDN 的两个一百万。
    Java俄罗斯方块,老程序员花了一个周末,连接中学年代!
    面试官都震惊,你这网络基础可以啊!
    你真的会用百度吗?我不信 — 那些不为人知的搜索引擎语法
    心情不好的时候,用 Python 画棵樱花树送给自己吧
    通宵一晚做出来的一款类似CS的第一人称射击游戏Demo!原来做游戏也不是很难,连憨憨学妹都学会了!
    13 万字 C 语言从入门到精通保姆级教程2021 年版
    10行代码集2000张美女图,Python爬虫120例,再上征途
Copyright © 2022 侵权请联系2656653265@qq.com    京ICP备2022015340号-1
正则表达式工具 cron表达式工具 密码生成工具

京公网安备 11010502049817号