• DateSet 使用 app_sampler 方法 添加自定义Sampler 打印结果不符合预期


    我在实践 MindSpore 官方教程 数据采样部分 数据采样 — MindSpore master documentation

    我在尝试dataset的add_sampler方法时,遇到了一些问题: 请看如下代码:

    1. import mindspore.dataset as ds
    2. # 自定义采样器
    3. class MySampler(ds.Sampler):
    4. def __iter__(self):
    5. for i in range(0, 10, 2):
    6. yield i
    7. # 自定义数据集
    8. np_data = ['a', 'b', 'c', 'd', 'e', 'f', 'g', 'h', 'i', 'j', 'k', 'l']
    9. # 加载数据
    10. def work():
    11. dataset = ds.NumpySlicesDataset(np_data, column_names=["data"],shuffle=False)
    12. sampler = ds.IterSampler(sampler=MySampler())
    13. dataset.add_sampler(sampler)
    14. for data in dataset.create_tuple_iterator():
    15. print(data[0], end=' ')
    16. def work2():
    17. sampler = ds.IterSampler(sampler=MySampler())
    18. dataset = ds.NumpySlicesDataset(np_data, column_names=["data"],sampler=sampler)
    19. for data in dataset.create_tuple_iterator():
    20. print(data[0], end=' ')
    21. work()
    22. print()
    23. work2()

    work函数 和work2函数中,使用了与官方教程(自定义采样器部分)相同的数据集与Sampler,并打印dataset的内容。

    在work函数中,我先创建了dataset 再创建Sampler 并使用add_sampler方法为dataset添加Sampler

    在work2函数中,我在创建dataset的同时指定了Sampler。

    两种方法的输出不相同:work2方法的输出符合预期,而work方法的输出 全部输出了数据集的第一项:

    1. [root@localhost zyb_work]# python work.py
    2. a a a a a
    3. a c e g i

    想咨询一下,这是正确的现象吗?如何使得work方法输出也同样符合预期?

    ****************************************************解答*****************************************************

    经定位,自定义Sampler使用`add_sampler`方法时存在bug,返回结果将全部变为父采样器首个索引对应的值,我们将尽快修复此问题,预计在下个版本中体现。

    现阶段请您使用work2中的方式调用自定义Sampler,避免使用自定义Sampler构建采样器链。

    修复PR:https://gitee.com/mindspore/mindspore/pulls/44012

    只需要一个Sampler的话,应该用use_sampler接口,add_sampler是添加多个Sampler时用的

  • 相关阅读:
    MCE | 神经退行性疾病——比癌症更残忍
    七天入门node.js(05)
    LightGBM调参与模型权重可视化
    Tomcat开发配置教程
    gRPC--简单学习笔记
    HttpUtils工具类
    61-70==c++知识点
    Spring 当中的Bean 作用域
    算法-REPEAT 程序
    【微信小程序】好看的轮播图组件
  • 原文地址:https://blog.csdn.net/xi_xiyu/article/details/127783253