pytorch 数据预处理和转换

数据并不总是以训练机器学习算法所需的最终需要的格式出现。我们可以使用transforms来对数据进行一些处理并使其适合训练。

所有 TorchVision 数据集都有两个参数 -transform修改特征和 target_transform修改标签 - 它们都是包含转换逻辑的可调用对象。torchvision.transforms模块提供了几个开箱即用的常用转换。

FashionMNIST 特征是 PIL 图像格式，标签是整数。对于训练，我们需要将特征作为归一化张量，并将标签作为 one-hot 编码张量。我们可以使用ToTensor和Lambda进行这些转换。

import torch
from torchvision import datasets
from torchvision.transforms import ToTensor, Lambda

ds = datasets.FashionMNIST(
    root="data",
    train=True,
    download=True,
    transform=ToTensor(),
    target_transform=Lambda(lambda y: torch.zeros(10, dtype=torch.float).scatter_(0, torch.tensor(y), value=1))
)
1
2
3
4
5
6
7
8
9
10
11

Downloading http://fashion-mnist.s3-website.eu-central-1.amazonaws.com/train-images-idx3-ubyte.gz
Downloading http://fashion-mnist.s3-website.eu-central-1.amazonaws.com/train-images-idx3-ubyte.gz to data/FashionMNIST/raw/train-images-idx3-ubyte.gz

  0%|          | 0/26421880 [00:00