码农知识堂 - 1000bd
  •   Python
  •   PHP
  •   JS/TS
  •   JAVA
  •   C/C++
  •   C#
  •   GO
  •   Kotlin
  •   Swift
  • MindSpore-GeneratorDataset报错误Unexpected error. Invalid data type


    MindSpore可以自定义Python数据源,通过迭代该数据源构造数据集。有点类似PyTorch的DataLoader。

    相关的API可以参考:mindspore.dataset.GeneratorDataset

    在ModelArt + GPU + MindSpore 1.2.0 环境下,使用GeneratorDataset接口加载自定义语音数据集,

    报出如下错误:

    Unexpected error. Invalid data type.

    Line of code : 109

    File: /home/jenkins/agent-working-dir/workspace/Compile_GPU_x86_Ubuntu_Cuda10/mindspore/mindpore/ccsrc/mindata/dataset/core/tensor.cc

    原因分析:

    • 问题出现的原因可能为,自定义的Datast 或map 操作中返回的是一个dict类型数据等,不是numpy array 或 numpy array 组成的元组(tuple)。因为其他类型(dict、object等)不是一个可控的数据类型同时也不明确其中的数据存储方式,因此报出Invalid type的错误。

    解决办法:

    • 需要确认下自定义的数据处理部分是否返回了dict等,需要返回numpy array
    • 或者检查一下自定义加载数据时,__getitem__ 函数需要返回值是 tuple,并且tuple的元素是 numpy类型。

    这里给出一个例子,标注了几个重要的地方进行numpy 的转换,请确认相关位置的数据类型是否为numpy或tuple[numpy]

    其他错误相关帖:

    • 华为云论坛_云计算论坛_开发者论坛_技术论坛-华为云
    • 华为云论坛_云计算论坛_开发者论坛_技术论坛-华为云
    • [重庆大学众智] 关于输入数据shape不固定的问题 · Issue #I4E08V · MindSpore/mindspore - Gitee.com
  • 相关阅读:
    在Scrum敏捷开发中,开发人员(Developers)的职责
    VRPTW(MATLAB):斑马优化算法ZOA求解带时间窗的车辆路径问题VRPTW(提供参考文献及MATLAB代码)
    弹跳小球-第15届蓝桥杯第一次STEMA测评Scratch真题精选
    sip网络话筒主机SIP桌面式对讲广播主机
    spark jdbc操作
    力扣-字符串-字符的统计
    15.cuBLAS开发指南中文版--cuBLAS中的Level-1函数rotg()
    js日期排序
    postgresql数据库备份
    数字化转型道阻且长,如何迈好关键的第一步
  • 原文地址:https://blog.csdn.net/Kenji_Shinji/article/details/126929053
  • 最新文章
  • 【JVM】编译执行与解释执行的区别是什么?JVM 使用哪种方式?
    用 Hashids 优雅解决 C 端自增 ID 暴露问题
    V8引擎 精品漫游指南--Ignition篇(上) 指令 栈帧 槽位 调用约定 内存布局 基础内容
    LLVM Pass快速入门(四):代码插桩
    milkup:桌面端 markdown AI续写和即时渲染
    基于项目工程构建SBOM(软件物料清单)的研究
    鸿蒙应用开发UI基础第二节:鸿蒙应用程序框架核心解析与实操
    .NET 中如何快速实现 List 集合去重?
    扣子Coze实战:从0到1打造抖音+小红书热点监控智能体
    浅谈数据访问层
  • 热门文章
  • 十款代码表白小特效 一个比一个浪漫 赶紧收藏起来吧!!!
    奉劝各位学弟学妹们,该打造你的技术影响力了!
    五年了,我在 CSDN 的两个一百万。
    Java俄罗斯方块,老程序员花了一个周末,连接中学年代!
    面试官都震惊,你这网络基础可以啊!
    你真的会用百度吗?我不信 — 那些不为人知的搜索引擎语法
    心情不好的时候,用 Python 画棵樱花树送给自己吧
    通宵一晚做出来的一款类似CS的第一人称射击游戏Demo!原来做游戏也不是很难,连憨憨学妹都学会了!
    13 万字 C 语言从入门到精通保姆级教程2021 年版
    10行代码集2000张美女图,Python爬虫120例,再上征途
小工具 小游戏
Copyright © 2022 侵权请联系2656653265@qq.com    京ICP备2022015340号-1

京公网安备 11010502049817号