码农知识堂 - 1000bd
  •   Python
  •   PHP
  •   JS/TS
  •   JAVA
  •   C/C++
  •   C#
  •   GO
  •   Kotlin
  •   Swift
  • 【问题解决】load_dataset报错An error occurred while generating the dataset


    问题描述:
    使用load_dataset读取在HuggingFace上的数据集,代码如下

    from datasets import load_dataset
    dataset = load_dataset(path="openclimatefix/goes-mrms")
    
    • 1
    • 2

    用pip install datasets直接装了库,然后一运行就报错了
    在_generate_examples函数里的,sat_data = xarray.open_dataset(filepath, engine=“zarr”, chunks=‘auto’)这一行,An error occurred while generating the dataset
    在网上查了一下发现没有帖子问这个问题的(第一次用,确实小白)

    问题解决:
    我自己去HuggingFace上那个地址看了,发现load_dataset会调用"openclimatefix/goes-mrms"这个我找的地址下面上传的py文件,报错的意思就是这个py文件里的代码运行有报错
    其实就是py文件中的xarray.open_dataset(filepath, engine=“zarr”, chunks=‘auto’)这一行代码报错

    接下来就是自己测试一下xarray.open_dataset这一行报什么错
    在py文件中,找到这个filepath对应的地址
    _URL = “gs://public-datasets-eumetsat-solar-forecasting/satellite/EUMETSAT/SEVIRI_RSS/v3/eumetsat_seviri_hrv_uk.zarr”

    我就自己写了个py文件,代码如下

    import xarray
    _URL = "gs://public-datasets-eumetsat-solar-forecasting/satellite/EUMETSAT/SEVIRI_RSS/v3/eumetsat_seviri_hrv_uk.zarr"
    dataset = xarray.open_dataset(
        _URL, 
        engine="zarr", 
        chunks="auto",  # Load the data as a Dask array.
    )
    print(dataset)
    
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8

    运行发现果然报错,基本都是什么什么库没装上,或者版本错误,总之就是这回报什么错就去网上查一下为什么,就能找到对应的解决方案
    所有库都装好之后,再次运行,不报错了

    此时回到原本调用 load_dataset(path=“openclimatefix/goes-mrms”)的地方,再次运行,就成功了

    问题分析:
    报这种不明确的错误,往往是因为内部有错却不能直接报出来,需要进一步查看内部的调用

  • 相关阅读:
    【如何让图片自适应盒子大小】
    cannot find -ldl
    BlackBerry 软件全球现已部署超过2.15亿辆汽车
    图的遍历之深度优先搜索和广度优先搜索
    Java设计模式:观察者模式
    迁移Linux服务器用户数据(将一个服务器的Linux用户数据迁移到另一个Linux服务器用户的流程)
    前端入门学习笔记三十八
    关于Oracle PrimaveraP6/Unifier虚拟机不提供的说明
    贪心算法篇——区间问题
    Comparable比较器写法&ClassCastExcption类转换异常
  • 原文地址:https://blog.csdn.net/weixin_45615730/article/details/133551545
  • 最新文章
  • 攻防演习之三天拿下官网站群
    数据安全治理学习——前期安全规划和安全管理体系建设
    企业安全 | 企业内一次钓鱼演练准备过程
    内网渗透测试 | Kerberos协议及其部分攻击手法
    0day的产生 | 不懂代码的"代码审计"
    安装scrcpy-client模块av模块异常,环境问题解决方案
    leetcode hot100【LeetCode 279. 完全平方数】java实现
    OpenWrt下安装Mosquitto
    AnatoMask论文汇总
    【AI日记】24.11.01 LangChain、openai api和github copilot
  • 热门文章
  • 十款代码表白小特效 一个比一个浪漫 赶紧收藏起来吧!!!
    奉劝各位学弟学妹们,该打造你的技术影响力了!
    五年了,我在 CSDN 的两个一百万。
    Java俄罗斯方块,老程序员花了一个周末,连接中学年代!
    面试官都震惊,你这网络基础可以啊!
    你真的会用百度吗?我不信 — 那些不为人知的搜索引擎语法
    心情不好的时候,用 Python 画棵樱花树送给自己吧
    通宵一晚做出来的一款类似CS的第一人称射击游戏Demo!原来做游戏也不是很难,连憨憨学妹都学会了!
    13 万字 C 语言从入门到精通保姆级教程2021 年版
    10行代码集2000张美女图,Python爬虫120例,再上征途
Copyright © 2022 侵权请联系2656653265@qq.com    京ICP备2022015340号-1
正则表达式工具 cron表达式工具 密码生成工具

京公网安备 11010502049817号