231n--CNN 卷积神经网络

CNN Convolutional Neural Networks

Convolution Layer

Fully Connnected Layer
全连接层，将一张32323的图像展开成一个向量，然后进行向量的乘法

Convolution Layer

卷积核按照一定的规则在图像上进行滑动，卷积核的深度要和输入居真的深度相同。

计算时，使用卷积核和被卷积区域进行点乘，再加上一个 bias $w^{T}x+b$

使用一个卷积核得到一个深度为1的结果，并且activation map的大小变小了。

我们可以使用多个卷积核，将结果进行堆叠，拓展结果的深度

ConvNet 是一系列的卷积层，其中插入了激活函数

在卷积核进行滑动的时候，选择一个合适的步长 stride 进行滑动，会影响最终输出的结果的大小。

然而就算stride 为1的时候，得到的结果尺寸也会比输入更小，因此要进行填充。

如果不行近填充，尺寸缩进速度很快，工作效果并不好。

receptive field 感受野

卷积核是K大小的，那么结果中 K大小的区域涉及到输入中 KK ( row KK ,col K*K ) 大小的感受野

对于一个output区域，每经过一个卷积层，会将感受野的尺寸扩充K-1倍， 因此经过L层，感受野的尺寸扩充到 1+L*(K-1) 倍

对于更大的图像，如果我们想让output涉及到，看到整个图像，我们需要经过很多层的卷积

解决方案“降采样”

Solution: Strided Convolution

Pooling layer

max pooling 不需要学习参数，引入空间不变性

全连接层，就是一个普通的神经网络层