李沐_动手学深度学习第5章卷积神经网络第二部分_笔记

1.卷积神经网络（LeNet）

卷积层代替全连接层的另一个好处是：模型更简洁、所需的参数更少。

LeNet 分为卷积层块和全连接层块两个部分。下面我们分别介绍这两个模块。
卷积层块里的基本单位是卷积层后接最大池化层：卷积层用来识别图像里的空间模式，如线条和物体局部，之后的最大池化层则用来降低卷积层对位置的敏感性。卷积层块由两个这样的基本单位重复堆叠构成。在卷积层块中，每个卷积层都使用5x5的窗口，并在输出上使用 sigmoid 激活函数。第一个卷积层输出通道数为6，第二个卷积层输出通道数则增加到16。这是因为第二个卷积层比第一个卷积层的输入的高和宽要小，所以增加输出通道使两个卷积层的参数尺寸类似。卷积层块的两个最大池化层的窗口形状均为2x2，且步幅为2。由于池化窗口写步幅形状相同，池化窗口在输入上每次滑动所覆盖的区域互不重叠。
卷积层块的输出形状为（批量大小，通道，高，宽）。当卷积层块的输出传入全连接层块时，全连接层块会将小批量中每个样本变平（ flaten )。也就是说，全连接层的输入形状将变成二维，其中第一维是小批量中的样本，第二维是每个样本变平后的向量表示，且向量长度为通道、高和宽的乘积。全连接层块含3个全连接层。它们的输出个数分别是120、84和10，其中10为输出的类别个数。



小结：
· 卷积神经网络（CNN）是一类使用卷积层的网络。
· 在卷积神经网络中，我们组合使用卷积层、非线性激活函数和汇聚层。
· 为了构造高性能的卷积神经网络，我们通常对卷积层进行排列，逐渐降低其表示的空间分辨率，同时增加通道数。
· 在传统的卷积神经网络中，卷积块编码得到的表征在输出之前需由一个或多个全连接层进行处理。
· LeNet是最早发布的卷积神经网络之一。

2.深度卷积神经网络（AlexNet）

3.使用重复元素的网络（VGG）

4.网络中的网络（NiN）

5.含并行连结的网络（GoogLeNet）

6.批量归一化

7.残差网络（ResNet)

8.稠密连接网络（DenseNet）