经典卷积神经网络LeNet-5、AlexNet、VGG-16

一、LeNet-5

这里只讲一下C5，卷积核大小是5*5，通道数是120，所以卷积完成之后是1*1*120，这里形成120个卷积结果。每个都与上一层的16个图相连。所以共有(5x5x16+1)x120 = 48120个参数，同样有48120个连接。

其他卷积层和池化层的连接请看这个博主写的文章：http://t.csdnimg.cn/TTihl   非常详细

LeNet-5亮点：

①传统滤波器中每个滤波器是处理了每一维通道，这会有大量的参数和计算，为了解决这个问题，不同滤波器会处理输入块的不同通道。

②以前做现在不做：原始池化层做完之后会使用sigmoid非线性操作

二、AlexNet

AlexNet亮点：

①提出了ReLU激活函数

②在多个GPU上进行训练

③局部响应归一化（LRN）：当处理13*13图像中的每一个位置，但也许不想要太多高激活率的神经元（随后发现这个并不是太有用）

三、VGG-16

VGG亮点：

1.小卷积核组：作者通过堆叠多个3*3的卷积核(少数使用1*1）来替代大的卷积核，以减少所需参数；

2.小池化核：相比较于AlexNet使用的3*3的卷积核，VGG全部为2*2的卷积核；

3.网络更深特征图更宽：卷积核专注于扩大通道数，池化专注于缩小高和宽，使得模型更深更宽的同时，计算量的增加不断放缓；

4.将卷积核替代全连接：作者在测试阶段将三个全连接层替换为三个卷积，使得测试得到的模型结构可以接收任意高度或宽度的输入。

5.多尺度：作者从多尺度训练可以提升性能受到启发，训练和测试时使用整张图片的不同尺度的图像，以提高模型的性能。

6.去掉了LRN层：作者发现深度网络中LRN（Local Response Normalization，局部响应归一化）层作用不明显。