• 【问题解决】load_dataset报错An error occurred while generating the dataset


    问题描述:
    使用load_dataset读取在HuggingFace上的数据集,代码如下

    from datasets import load_dataset
    dataset = load_dataset(path="openclimatefix/goes-mrms")
    
    • 1
    • 2

    用pip install datasets直接装了库,然后一运行就报错了
    在_generate_examples函数里的,sat_data = xarray.open_dataset(filepath, engine=“zarr”, chunks=‘auto’)这一行,An error occurred while generating the dataset
    在网上查了一下发现没有帖子问这个问题的(第一次用,确实小白)

    问题解决:
    我自己去HuggingFace上那个地址看了,发现load_dataset会调用"openclimatefix/goes-mrms"这个我找的地址下面上传的py文件,报错的意思就是这个py文件里的代码运行有报错
    其实就是py文件中的xarray.open_dataset(filepath, engine=“zarr”, chunks=‘auto’)这一行代码报错

    接下来就是自己测试一下xarray.open_dataset这一行报什么错
    在py文件中,找到这个filepath对应的地址
    _URL = “gs://public-datasets-eumetsat-solar-forecasting/satellite/EUMETSAT/SEVIRI_RSS/v3/eumetsat_seviri_hrv_uk.zarr”

    我就自己写了个py文件,代码如下

    import xarray
    _URL = "gs://public-datasets-eumetsat-solar-forecasting/satellite/EUMETSAT/SEVIRI_RSS/v3/eumetsat_seviri_hrv_uk.zarr"
    dataset = xarray.open_dataset(
        _URL, 
        engine="zarr", 
        chunks="auto",  # Load the data as a Dask array.
    )
    print(dataset)
    
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8

    运行发现果然报错,基本都是什么什么库没装上,或者版本错误,总之就是这回报什么错就去网上查一下为什么,就能找到对应的解决方案
    所有库都装好之后,再次运行,不报错了

    此时回到原本调用 load_dataset(path=“openclimatefix/goes-mrms”)的地方,再次运行,就成功了

    问题分析:
    报这种不明确的错误,往往是因为内部有错却不能直接报出来,需要进一步查看内部的调用

  • 相关阅读:
    哈希应用之布隆过滤器
    插座为啥左零右火,可不可以反接,会有什么后果?80%电工答不出
    说透 Nacos 一致性协议
    SR-LIO--手写紧耦合IESKF
    每日一个C库函数-#2-memmove()
    通达信交易系统接口是不是免费的?
    谷粒商城高级篇-全文检索(ElasticSearch)
    刨根问底 Redis, 面试过程真好使
    数据运算——逻辑运算
    有自动交易股票的软件么,怎么实现全自动交易?
  • 原文地址:https://blog.csdn.net/weixin_45615730/article/details/133551545