• 【深度学习】图像分类数据集Fashion-MNIST


    今天在手撸深度学习代码的时候,遇到了这个数据集,但是调用的函数的参数和功能不是很明白,因此选择写篇博客总结一下。

    一、介绍

    Fashion-MNIST是⼀个10类服饰分类数据集。

    torchvision 包:它是服务于 PyTorch 深度学习框架的,主要⽤来构建计算机视觉模型。

    torchvision 主要由以下几部分构成:

    1. torchvision.datasets : ⼀些加载数据的函数及常⽤的数据集接

    2. torchvision.models : 包含常⽤的模型结构(含预训练模型),例如AlexNet、VGG、 ResNet等

    3. torchvision.transforms : 常⽤的图⽚变换,例如裁剪、旋转等

    4. torchvision.utils : 其他的⼀些有⽤的⽅法

    二、加载常用的包

    import torch
    import torchvision
    from torch.utils import data
    from torchvision import transforms
    from d2l import torch as d2l
    import matplotlib.pyplot as plt
    
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6

    三、获取数据集

    trans = transforms.ToTensor()
    mnist_train = torchvision.datasets.FashionMNIST(root = './15.动手学深度学习代码手撸/data', train = True, transform=trans, download=True)
    mnist_test = torchvision.datasets.FashionMNIST(root='./15.动手学深度学习代码手撸/data', train=False, transform=trans, download=True)
    
    • 1
    • 2
    • 3

    通过框架中的内置函数将Fashion-MNIST数据集下载并读取到内存中。

    通过ToTensor实例将图像数据从PLL类型变换成32位浮点数格式,最简单的一个预处理 transform=transforms.ToTensor()

    从torchvision中的datasets中将Fashion-MNIST数据集拿到;root是目录;train=True表示下载的是训练数据集;download=True表示确定从网上下载。

    上⾯的 mnist_train 和 mnist_test 都是 torch.utils.data.Dataset 的⼦类,所以我们可以⽤ len() 来获取该数据集的大小,还可以⽤下标来获取具体的⼀个样本。

    print(len(mnist_train), len(mnist_test))
    
    • 1

    输出的结果为:

    60000 10000
    
    • 1

    Fashion-MNIST由10个类别的图像组成,每个类别由训练数据集(train dataset)中的6000张图像和测试数据集(test dataset)中的1000张图像组成。因此,训练集和测试集分别包含60000和10000张图像。测试数据集不会用于训练,只用于评估模型性能。

    我们看一下数据类型:

    print(type(mnist_train))
    
    • 1
    <class 'torchvision.datasets.mnist.FashionMNIST'>
    
    • 1

    每个输入图像的高度和宽度均为28像素。数据集由灰度图像组成,其通道数为1。为了简洁起见,将高度定为 h h h像素,将宽度定为 w w w像素,图片的形状记为 h × w h\times w h×w

    print(mnist_train[0][0].shape)
    
    • 1

    输出为:

    torch.Size([1, 28, 28])
    
    • 1

    四、输出训练集中的10个样本的图像内容和文本标签

    Fashion-MNIST中包含的10个类别,分别为t-shirt(T恤)、trouser(裤子)、pullover(套衫)、dress(连衣裙)、coat(外套)、sandal(凉鞋)、shirt(衬衫)、sneaker(运动鞋)、bag(包)和ankle boot(短靴)。 以下函数用于在数字标签索引及其文本名称之间进行转换。

    def get_fashion_mnist_labels(labels):
        test_labels = ['t-shirt', 'trouser', 'pullover', 'dress', 'coat','sandal', 'shirt', 'sneaker', 'bag', 'ankle boot']
        return [test_labels[int(i)] for i in labels]
    
    • 1
    • 2
    • 3

    我们现在可以创建一个函数来可视化这些样本。

    def show_images(imgs, num_rows, num_cols, titles = None, scale = 1.5):
        figsize = (num_cols * scale, num_rows * scale)
        _, axes = d2l.plt.subplots(num_rows, num_cols, figsize = (12, 8))
        axes = axes.flatten()
        for i, (ax, img) in enumerate(zip(axes, imgs)):
            if torch.is_tensor(img):
                ax.imshow(img.numpy())
            else:
                ax.imshow(img)
            ax.axes.get_xaxis().set_visible(False)
            ax.axes.get_yaxis().set_visible(False)
            if titles:
                ax.set_title(titles[i])
        return axes
    
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
    • 10
    • 11
    • 12
    • 13
    • 14

    这⾥的_表示我们忽略(不使⽤)的变量。

    以下是训练数据集中前几个样本的图像及其相应的标签:

    X, y = next(iter(data.DataLoader(mnist_train, batch_size=18)))
    show_images(X.reshape(18, 28, 28), 2, 9, titles=get_fashion_mnist_labels(y))
    plt.show()
    
    • 1
    • 2
    • 3

    在这里插入图片描述

    五、读取小批量

    为了使我们在读取训练集和测试集时更容易,我们使用内置的数据迭代器,而不是从零开始创建。 回顾一下,在每次迭代中,数据加载器每次都会读取一小批量数据,大小为batch_size。 通过内置数据迭代器,我们可以随机打乱了所有样本,从而无偏见地读取小批量。

    batch_size = 256
    def get_dataloader_workers():
        return 4
    
    train_iter = data.DataLoader(mnist_train, batch_size, shuffle=True, num_workers = get_dataloader_workers())
    timer = d2l.Timer()
    for X, y in train_iter:
        continue
    print(f'{timer.stop():.2f} sec')
    
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9

    使用4个进程来读取数据。

    我们看一下读取训练数据所需的时间:

    1.92 sec
    
    • 1
  • 相关阅读:
    考虑人机协同的智能工厂多AGV物流调度仿真研究
    配置静态IP地址(centos和ubuntu)
    QT windows dpi变化导致的界面异常处理
    虎符限币种提现 用户曲线出金即亏损
    【Java第34期】:Bean的六种作用域
    C++11特性-lambda表达式
    如何理解CDN?说说实现原理?
    浙大陈越何钦铭数据结构07-图6 旅游规划【最小堆实现】
    【微信小程序入门到精通】— 微信小程序开发工具的安装
    Primavera P6 Calendars 全局日历和项目日历Calendar
  • 原文地址:https://blog.csdn.net/wzk4869/article/details/127945875