权重衰退

权重衰退是最常见的处理过拟合的方法
权重衰退是通过控制值的选择范围来进行的

如果没有限制，就可以像蓝色曲线那样，取得很小或者很大的值
通过限制选择范围，减少波动，从而控制模型复杂度

QA

Q∶实践中权重衰减的值一般设置多少为好呢?之前在跑代码的时候总感觉权重衰减的效果并不那么好

• 一般取e-3,e-4。
• 权重衰退效果实际上不强。

Q:问老师，为什么要把w往小的拉?如果最优解的W就是比较大的数，那权重衰减是不是会有反作用?

• 实际数据中存在着噪音，实际解会比最优解偏大