卷积层数量过多的缺点,卷积积分的被积函数

将原模型中的卷积层（卷积核为5*5）全部替换成两个3*3级联的卷积层（就像VGG模型）训练误差一直为2.3不变

用局部连接而不是全连接，同时权值共享。

局部连接的概念参考局部感受域，即某个视神经元仅考虑某一个小区域的视觉输入，因此相比普通神经网络的全连接层（下一层的某一个神经元需要与前一层的所有节点连接），卷积网络的某一个卷积层的所有节点只负责前层输入的某一个区域（比如某个3*3的方块）。

这样一来需要训练的权值数相比全连接而言会大大减少，进而减小对样本空间大小的需求。权值共享的概念就是，某一隐藏层的所有神经元共用一组权值。这两个概念对应卷积层的话，恰好就是某个固定的卷积核。

卷积核在图像上滑动时每处在一个位置分别对应一个“局部连接”的神经元，同时因为“权值共享”的缘故，这些神经元的参数一致，正好对应同一个卷积核。

顺便补充下，不同卷积核对应不同的特征，比如不同方向的边（edge）就会分别对应不同的卷积核。

激活函数f(x)用ReLU的话避免了x过大梯度趋于0（比如用sigmoid）而影响训练的权值的情况（即GradientVanishing）。同时结果会更稀疏一些。

池化之后（例如保留邻域内最大或平均以舍弃一些信息）一定程度也压制了过拟合的情况。

综述总体来说就是重复卷积-relu来提取特征，进行池化之后再作更深层的特征提取，实质上深层卷积网络的主要作用在于特征提取。

最后一层直接用softmax来分类（获得一个介于0~1的值表达输入属于这一类别的概率）。

谷歌人工智能写作项目：神经网络伪原创

cnn训练准确率很高，测试准确率很低（loss有一直下降）是为什么?

可能的原因：有可能是层数较少，可以尝试增加卷积层；可能性不大A8U神经网络。之前我有出现过类似的情况，数据本身质量太低ÿ