《深度学习之模型设计：核心算法与案例实践》知识记录

第四章 加深网络，提升模型性能

4.1 为什么需要更深的网络

（1）表达能力更强
现在深度学习模型结构的主要模块是卷积、池化、激活，这些是标准的非线性变换模块。

但模型中用到的更多的是卷积、Batch_norm、Relu、Dropout组合。

（2）学习更加简单
CNN通过分层进行信息抽象，随着网络的加深，抽象层级也加深。更深的网络层能学习到更加复杂的表达。网络过浅，则意味着要学习的表达非常复杂，这是很难做到的。网络足够深，则每层需要学习的变换比较简单，从而使模型性能更优。

4.2 VGG16的网络结构图

仔细观察其中的模型设计：
（1）pool的设计
（2）dropout的设计

4.3 优化器、学习率调整策略的选择

该书中，通过实验得到结论：
在分类实验中，使用：
（1）SGD（动量m=0.9）
（2）学习率调整策略较好的有：Step、Multistep