一、卷积神经网络介绍（CNN）

1、什么是卷积

对图像矩阵和滤波矩阵做内积（逐个元素相乘再求和）

 中间滤波器filter与数据窗口做内积，其具体计算过程则是：

4*0 + 0*0 + 0*0 + 0*0 + 0*1 + 0*1 + 0*0 + 0*1 + -4*2 = -8

2、CNN基本结构

（1）卷积层（convolutional layer）

（2）池化层（Pooling layer）

（3）全连接层（Fully connected layer也可称softmax layer）

三大神经网络的优缺点

1、AlexNet

优点：

• 首次使用GPU加速
• 随机drop掉一些神经元，有效降低了过拟合
• ReLU部分解决了sigmoid的饱和性
• 计算简单
• 收敛速度快

缺点：

• 在小于0的地方会出现神经单元死亡，并且不能复活的情况。所以，有关于ReLU的改进方法的提出(leaky ReLU, parameterized ReLU, random ReLU)

2、GoogLeNet

缺点：

• 使用更深的网络，但是这会导致参数太多，如果训练数据集有限，很容易产生过拟合；
• 创建数据集的代价很大，尤其是如果数据集分类很麻烦的情况下；
• 网络越深，容易出现梯度弥散问题（梯度越往后穿越容易消失），难以优化模型。

3、MiniVGG for Cifar10