最近几个星期一直在复现MSRN,RCAN这几个经典的超分网络。遇到很大的困难，首先训练时间实在太长，二来的训练后的结果与原文存在非常大的差异。这些问题，使我不得不重新思考，有没有一些简单的网络结构，可以很快收敛。今天，偶然看到了VDSR论文，很久之前看到过的。因为设备原因，所以就没有跑过，只是知道网络的结构和参数设置。今天翻阅这篇论文，发现这篇论文的训练时间只需四个小时，这对于没有显卡缺乏计算资源的我说实在是个好消息。研三了，目前实验还没搞完，心里实在紧张的很。心里很憋屈，没法发泄，只能诉诸文字了。
这里立个Flag，这周一定把这一篇论文实验做完。
这篇论文主要是受vgg的启发。作者在SRCNN的基础发现3点问题
- SRCNN属于浅层网络，网络利用的感受野较小。作者认为这样网络重建接收的上下文信息比较小（这里意思是说，网络的感受野太小。感受野一直是网络结构设计的重要依赖。一般可以从两个方面来增大感受野，1是采用大的卷积核 2 是采用深层网络，多次级联的方式。两者各有优劣）。基于上下文信息和vgg，作者采用了多个级联的小卷积核的卷积层来搭建整个的网络结构。
- SRCNN的训练的速度太慢。作者认为，网络LR和HR之间是存在的高度相关性的。直接学习会学习很多的冗余信息、没用的信息。所以作者引入了残差学习，直接学习网络的残差部分（残差的引入其实减少了大部分的计算量，是因为残差含有大量的0，也就是说网络学习的其实是稀疏的，相比以前的稠密矩阵，网络的学习的东西大大减少，二来是因为网络具有加速稀疏矩阵）。然后作者还引入了极高的学习率和可调梯度裁剪。
- 引入了多尺度训练