基于Python实现的CNN for OxFlowers17实验

CNN for OxFlowers17 实验报告

本实验尝试了多种超参数配置下的 CNN 在 OxFlowers171数据集上的效果，并探究了多种相关技巧对效果的影响。

数据集描述

该数据集为一个图像分类任务的数据集。数据集包括 1360 张照片，分别属于 17 类花，每个类别各有80 张照片。

该数据集提供了三种数据集分割，均为 50%-25%-25%的比例均匀分割出训练集、验证集和测试集。我们这里的实验主要使用第一种数据集分割。

该数据集的图片是 RGB24 位色，图片大小不一，大小范围分布在：(499_1057)×(4991093)之间。所以在使用神经网络时，需要统一图片大小。这里使用简单的 resize 的方法。

实验设置

本实验使用 Keras 编写神经网络代码，使用 tensorflow 作为 backend。batch_size = 5，每轮迭代随机 shuffle 训练数据顺序。损失函数为 categorical_crosse-ntropy，优化方法为：adadelta，最后一层为带 softmax 激活函数输出 17 类概率的全连接层，其它地方的激活函数均为 ReLu。

实验 part-1 探究简单的 MLP 与 CNN 的效果

这一部分如无特殊说明，图片大小调整为 128*128。具体设置如下：

MLP_nl_m：n 隐层 MLP，隐层节点数 m

CNN_ss: 使用 32 个 33 的 CNN filter。（因为训练 4 轮，训练集准确率就到 100%了，而且该设置跑得实在是慢，所以该设置只训练了 10 轮）
CNN_s_1l_32: 使用 32 个 33 的 CNN filter，然后过一个 2*2 的 max-pooling filter。（训练 6 轮时训练集准确率到 100%）
CNN_s_2l_32: CNN_s_1l_32 的设置叠了两遍。（训练 7 轮时训练集准确率到 100%）
CNN_1l_32_1l_128：CNN_s_1l_32 的输出前加一个 128 节点隐层。（11 轮训练集准确率 100%）
CNN_1l_32_2l_128：CNN_s_1l_32 的输出前加两个 128 节点隐层。（22 轮训练集准确率 100%）
CNN_2l_32_2l_128：CNN_s_2l_32 的输出前加两个 128 节点隐层。（14 轮训练集准确率 100%）
CNN_ss_2l_32_2l_128：CNN_ss 叠起来两遍之后再在输出层前面加两个 128 节点的隐层。（训练 7轮时训练集准确率到 100%）

实验结果如表 1 所示，训练 30 轮迭代，acc_tst 和 acc_val 为验证集上效果最好的一轮迭代时测试集和验证集上的准确率，n_iter 为该轮的轮数。best_trn 为所有轮中，训练集效果最好的一轮的准确率，可以显示模型的学习能力。（主要考虑到神经网络的表达能力都是非常高的）

表 1 简单设置下 CNN 与 MLP 的效果对比

从表 1 中可以看出，对于图片信息使用多层感知机的效果往往还不如直接使用 softmax 回归的效果。随着感知机的层数提升，带来的反而是该模型学习能力的下降，模型更难在训练集上拟合。使用卷积层后可以让模型更容易在训练集上拟合的的同时也能够提升模型在测试集上的准确率，在一定程度上体现了卷积层更适合图片类数据的结构。在卷积层后使用 Pooling 层可以在加快模型学习的速度的同时小幅度提升模型效果（对比 CNN_2l_32_2l_128 Vs CNN_ss_2l_32_2l_128，CNN_s_1l_32 Vs CNN_ss）。在卷积层后加全连接层对效果的影响比较玄学，可能会对效果有所提升，也可能会让效果有所下降。

实验 part-2 探究一些 CNN 设置对分类准确率的影响

设置如下：

• CNN_128(32,32)(128,128)：就是上一部分 CNN_2l_32_2l_128 的模型。图片大小被调整为
• 128 的，32 个 33 的 CNN filter，22 的 max-pooling filter，然后再过 32 个 33 的 CNN
• filter，2*2 的 max-pooling filter，再过 2 个 128 个节点的隐层，最后 softmax regression 输出。
• dp:在基础设置上每个pooling层后加一个25%dropout，每个隐层后加一个50%dropout。
• bn:在基础设置上每个pooling层后面加入一个BatchNormalization,

由于加入 dropout 之后，模型拟合速度更慢，故这里每个用正则化方法的设置迭代训练为 80 轮，其余仍为 30 轮。实验结果如表 2 所示。

表 2 探究一些 CNN 设置对分类准确率的影响

从上表中可以看出，使用 dropout 对效果略有提升，调整各种参数对效果提升得并不明显，反而对于一些比较没道理的参数配置（不在上表中）会让效果比较明显得下降。在这里的实验中，并没有看到Batch Normalization 对效果的正面影响。

实验 part-3 实现一些有名字的 CNN 的效果

考虑到神经网络调参太过玄学，所以我尝试在这个数据集上实现一些有名字的 CNN 模型，以观察、比较效果。这部分我们对三种数据分割都做了实验。图片大小根据原来网络的定义进行调整。这些有名字的CNN 我尽量还原原来的设置，不过网络结构之外的一些细节（如 Batch Normalization 设置）可能和原始模型并不完全一样，也并没有使用原来模型实现的预处理、后处理机制。

每个分割算的是该分割内验证集准确率最高的一轮迭代时的测试集准确率与其对应的验证集准确率。而Average 取得是平均验证集准确率最高一轮迭代（先平均，再选取轮次）时的测试集准确率与其对应的验证集准确率。具体设置与结果如下：

part-3.1 AlexNet

这部分训练了 60 轮。

AlexNet：参照 NIPS12 AlexNeti的模型实现，包括使用的 local response normalization 的参数以及将输入图像大小调整为 2272273。不过由于这个数据集较小，batch size 减小到了 5。各层超参数：

（96-256-384-384-256）-（4096-4096）

AlexNet_short：考虑到本任务训练数据量较小，适当缩减网络深度，减少网络参数与学习难度。删除原来 AlexNet 的第三个卷积层。各层超参数：（96-256-384-256）-（4096-4096）

AlexNet_light：考虑到本任务为 17 分类而不是 1000 分类，在 AlexNet_short 的基础上适当减少靠近输出的层的参数个数，各层超参数：（96-256-256-128）-（1024-1024）

AlexNet_lighter：各层超参数：（96-192-192-96）-（512-512）

AlexNet_lightest：各层超参数：（72-128-128-64）-（128-128）

AlexNet_light_l, AlexNet_lighter_l, AlexNet_lightest_l：对应模型第一个卷积层 filter 大小从11 改为 7*7，步长不变。

AlexNet_lighter_lbn：将 AlexNet_lighter_l 中的 local response normalization 改成普通的 batchnormalization。其它不变。

表 3 AlexNet 的效果

从表 3 中可以看出，AlexNet 不愧是有名字的网络，效果普遍不错。不过在减少层数与减少参数、特征数之后，效果会有比较显著的提升。这大概是和这个数据集规模比较小，分得类别比较少有关吧。最后一组实验表明，AlexNet 中的 local response normalization 比普通的 batch normalization 对模型效果的帮助明显要大一些。使用缩减参数后的 AlexNet 网络时，测试集准确率普遍可以达到 75%左右。

AlexNet_lighter_l 在 seg-1 分割下的训练收敛曲线如图 1 所示。

图 1 AlexNet_lighter_l 在 Seg-1 下的训练收敛曲线

（chosen：test=76.18% validation = 69.14%）

part-3.2 VGG

VGG16：参照 VGG16ii的模型实现。各层超参数：（64-64-pooling-128-128-pooling-256-256-256-pooling-512-512-512-pooling-512-512-512-pooling）-（4096-4096）。然而 VGG16 模型迭代训练 40 轮 loss 不降，故放弃。也许是参数太多，网络太深的原因。

VGG13：参照 13 层的 VGG 实现，各层超参数：（64-64-pooling-128-128-pooling-256-256-pooling-512-512-pooling-512-512-pooling）-（4096-4096）。跑得时候出了点意外，第三组分割上VGG13 也和 VGG16 上一样没有收敛。

VGG13_light：各层超参数：（64-64-pooling-128-128-pooling-256-256-pooling-256-256-pooling-384-384-pooling）-（1024-1024）

VGG13_lighter：各层超参数：（64-64-pooling-96-96-pooling-128-128-pooling-128-128-pooling-64-64-pooling）-（512-512）

VGG13_lightest：各层超参数：（48-48-pooling-64-64-pooling-96-96-pooling-96-96-

pooling-48-48-pooling）-（256-256）

VGG13_light_lrn：在 VGG13_light 上加入 local response normalization 与 dropout。

表 4 VGG 的效果

从表 4 中可以看到，VGG 的效果普遍不太好，而且像上面一样的删参数会导致效果更差。怀疑是因为VGG 网络层数较多，并且因为没有使用正则化的方法，导致训练集上收敛速度过快，过拟合导致的。

然而有些设置下不知为何地不收敛，换了其它的优化方法也没有变化。由于 VGG 跑起来实在是太慢了，这里并没有做太多的实验。

part-3.3 ResNet
1

表 5 ResNet 的结构设置

ResNet-18、ResNet-34、ResNet-50、ResNet-101：参考原来的论文iii中的方法实现的，使用了batch normalization。网络详细结构见表 5，其中，两层的模块 kernel size 为(33),(33)，三层的模块kernel size 为(11),(33),(1*1)。考虑到 ResNet 有些比较深，所以这里的训练集迭代了 120 轮。

表 6 ResNet 的效果

从上表中可以看到，ResNet 的效果普遍比较好，在 34 层时效果最好，在层数更多时准确率略有下降，也许是因为这个数据集类别数比较少，所以不需要太复杂的特征吧。从 50 层的开始，就使用 1*1 的卷积核在不怎么增加参数的情况下尽量增加特征数了。

ResNet-34 在 seg-1 分割下的训练收敛曲线如图 2 所示。

图 2 ResNet-34 在 Seg-1 下的训练收敛曲线

（chosen：test=77.94% validation = 75.00%）

part-3.4 GoogleNet

GoogleNet V1_s：参考这篇文章iv实现的 GoogleNet V1，不过三个输出的地方，只取最后一个计算loss。具体的网络结构太复杂了，这里就不列了，详见那篇文章。这里迭代了 120 轮。

GoogleNet V1：和 GoogleNet V1_s 相同，不过三个输出的地方都计算 loss，三处比例为：

:0.3:0.2，深度越大的地方比例越大。发现这个设置训练速度有点慢。不过这里使用的是 LRN 而不是BN。迭代 180 轮。

GoogleNet V1_ave：输出的是 3 个地方输出向量的均值。其实这个相当于 1：1：1 地分配 loss，不过最后测试时使用的不再只是最深层的那个输出而是三个输出的均值。迭代 180 轮。

GoogleNet V1_BN：将 GoogleNet V1 中用到的 LRN 改为 BN。迭代 180 轮。

GoogleNet V1_moreBN：在 GoogleNet V1_BN 中尽可能多地加入 BN。迭代 180 轮。

GoogleNet V3：参考这篇文章实现v。参数细节参考 arXiv 上提交的 model.txt。两处输出的 loss 权重比为 1.0:0.4，深度越大的地方比例越大。没有用 Normalization。迭代 180 轮。

GoogleNet V3_BN：在 GoogleNet V3 中加入 BN。迭代 180 轮。

GoogleNet V3_moreBN：在 GoogleNet V3 中尽可能多地加入 BN。迭代 180 轮。

GoogleNet V4、GoogleNet ResV1、GoogleNet ResV2：参考这篇文章实现vi，尽可能多地加入BN。迭代 240 轮。

表 7 GoogleNet 的效果

表 7 中，GoogleNet V1_ave 的效果下降比较明显，看起来即使迭代了 180 轮，训练集数据效果也没有收敛到 100%。所以还是 GoogleNet V1 的损失分配比率比较合理。加入 Batch Normalization 对模型效果有帮助，且比 LRN 要好，并且看起来加得越多越好。GoogleNet V3、V4 的效果较比 V1 是越来越差，感觉上可能是因为这个网络层数过多，结构过于复杂，这个数据集规模过小有关。但是加入了残差传播并适当缩减参数规模后效果还是明显有所提升的。总体而言，使用 GoogleNet 的效果都还是比较好的。毕竟 GoogleNet 用了很多方法减少模型参数与计算复杂度，而加入 ResNet 的机制对这种小数据集显然是有更显著的帮助的。

GoogleNet V1mBN 和 GoogleNet ResV2 在 seg-1 分割下的训练收敛曲线分别如图 3、图 4 所示。从图中可以看出，GoogleNet ResV2 训练集波动比较大，但还在逐渐收敛，感觉即使训练了 240 轮但还有上升的空间。

图 3 GoogleNet V1mBN 在 Seg-1 下的训练收敛曲线

（chosen：test=86.47% validation = 85.59%）

图 4 GoogleNet ResV2 在 Seg-1 下的训练收敛曲线

（chosen：test=86.18% validation = 86.76%）

总结

这里，我们测试了一些简单的 MLP 与 CNN 设置以及一些有名字的 CNN 设置在 OxFlowers17 的效果。结果汇总见表 8。总体而言，MLP 与 softmax regression 效果差不多。CNN 的效果普遍比 MLP 要好。有名字的比较深的 CNN 的效果普遍比自己随便调的 CNN 的效果要好。因为这个数据集比较小，像VGG 这种比较 heavy 的 CNN 模型的效果相对而言要差一些，ResNet 在加深的同时尽量减少参数和增加模型的易学习度，可以在这个数据集上取得相对更好的效果。而 GoogleNet 增加卷积层的稀疏性并可与ResNet 结合，在所有模型中效果最好。准确率普遍可以达到 85%左右。

表 8 各种模型效果汇总