ImageNet1K的下载与使用

0、前言

ImageNet不用多说，它包含了非常多的图片，总共有2w多个分类，但是显然太多。所以一般更常用的是ImageNet1K数据集，该数据集包含1000个类别。

2、val集

val集也是1000个类别，总共5w张图片

该数据集是通过向官方申请并被批准后下载的，官网中在Download进行申请，需要注意的是要校园邮箱，个人邮箱是不会被批准的

2.1 下载

如果通过后在Download页面可以找到如下，进入2012

然后在这里你可以下在Training和Val验证集

等待下载完毕val，大概长这样，全是图片，所以我们要进行处理。

2.2 处理

我们会将val处理成ImageNet格式，方便pytorch的ImageNet类读取制作dataloader。

首先我们会根据val.txt找到5w张图片分别属于哪一类？当然通过该list你也仅知道哪些图片是一类的，比如第一张图片属于第65类，如果你想知道第65类是什么，可以在gistfile1.txt找到答案

当然对于验证程序来讲，程序仅输入是输入哪一个序号最大，所以我们也仅需要知道该图片所属的是哪一个数字类即可。

现在我们将相同一类的图片放入同一个文件夹，代码如下：

import os
import shutil


def propress(sh_file_path,output_path,val_path):
    """
    sh_file_path: sh文件路径，可从这里下载
        https://raw.githubusercontent.com/soumith/imagenetloader.torch/master/valprep.sh
    output_path：输出路径，完成后该文件夹下有1k个子文件夹，即1k个类
    val_path：val根目录，即下载的val数据集路径
    """
    with open(sh_file_path) as f:
        valprep=f.readlines()

    for i in valprep[:1000]:
        subpath=os.path.join(output_path,i[9:-1])
        if not os.path.exists(subpath):
            os.mkdir(subpath)

    gts=valprep[1000:]
    for idx,cmd in enumerate(gts):
        _,src,dst=cmd.split(" ")
        src_path=os.path.join(val_path,src)
        dst_path=os.path.join(output_path,dst[:-1],src)
        shutil.copyfile(src_path,dst_path)
        if idx%500==0:
            print(f"{idx}/{gts.__len__()}")

propress("valprep.sh","n1K/val",r"H:\迅雷下载\ILSVRC2012_img_val")
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29

torch加载时使用ImageNet类，那么同一个类的训练集类文件夹名和验证集类文件夹名一样时，序号也一样，所以文件夹名和训练集保持一致即可