深度学习——第10章 优化神经网络：如何防止过拟合（DNN）

第10章 优化神经网络：如何防止过拟合（DNN）

目录

10.1 什么是过拟合

10.2 L1、L2正则化

10.3 L2正则化的物理解释

10.4 Dropout正则化

10.5 其它正则化技巧

10.6 总结

上一课，我们一步步搭建了一个深层神经网络来实现图片的分类。结果显示，随着网络层数加深，隐藏层数增加，网络性能会有所提升。但是，单纯地通过增加网络层数也不一定能取得很好的效果，且模型容易发生过拟合。

本节将主要讨论神经网络中的过拟合问题以及如何避免过拟合。

10.1 什么是过拟合

任何机器学习模型，包括神经网络都可能存在过拟合（Overfit）问题。下面用一张图来说明：

上图中，分别用三个模型来拟合实际的样本点（