12.权重衰退+QA - 码农知识堂 - 文章详情页

12.权重衰退+QA
权重衰退
权重衰退

权重衰退是最常见的处理过拟合的方法
权重衰退是通过控制值的选择范围来进行的

如果没有限制，就可以像蓝色曲线那样，取得很小或者很大的值
通过限制选择范围，减少波动，从而控制模型复杂度

QA

Q∶实践中权重衰减的值一般设置多少为好呢?之前在跑代码的时候总感觉权重衰减的效果并不那么好
- 一般取e-3,e-4。
- 权重衰退效果实际上不强。
Q:问老师，为什么要把w往小的拉?如果最优解的W就是比较大的数，那权重衰减是不是会有反作用?
- 实际数据中存在着噪音，实际解会比最优解偏大
相关阅读:
大数据毕设 - 公交数据分析与可视化系统（大数据 python flask）
loguru 由简入繁
 需求管理手册-需求工程的流程环节（4）
只要封装相同，电容体本身大小就一样吗？
系列五、线程间通信
 transformer进阶之路：#4 attention从如何「工作」到「为何」如此高效
 机器人C++库（2）Robotics Library API介绍
 从零实现深度学习框架——再探多层双向RNN的实现
 每日两题 / 240. 搜索二维矩阵 II && 48. 旋转图像 - 力扣（LeetCode热题100）
华为OD机试 - 玩牌高手 - 动态规划（Java 2023 B卷 100分）
原文地址：https://blog.csdn.net/weixin_43786637/article/details/126329247