pytorch 数据的读取

数据模块可分为以下几部分：
● 数据的收集：Image、label
● 数据的划分：train、test、valid
● 数据的读取：DataLoader，有两个子模块，Sampler和Dataset，Sampler是对数据集生成索引index，DataSet是根据索引读取数据
● 数据预处理：torchvision.transforms模块

DataLoader

torch.utils.data.DataLoader():构建可迭代的数据装载器，在训练数据时，每一个for循环，就是一次iteration，就是从DataLoader中获取一个batchsize大小的数据。

DataLoader(dataset, batch_size=1, shuffle=False, sampler=None,
           batch_sampler=None, num_workers=0, collate_fn=None,
           pin_memory=False, drop_last=False, timeout=0,
           worker_init_fn=None, *, prefetch_factor=2,
           persistent_workers=False)

dataset：Dataset类，决定从哪读取以及如何读取数据；
batch_size：int型，批量的大小
shuffle：每个epoch的数据是否打乱
num_workers：是否进行多进程读取数据，若采取多进程，减少读取