码农知识堂 - 1000bd
  •   Python
  •   PHP
  •   JS/TS
  •   JAVA
  •   C/C++
  •   C#
  •   GO
  •   Kotlin
  •   Swift
  • 深度学习值过拟合和欠拟合


    1.过拟合和欠拟合的相关概念:在训练模型时可能会出现两个问题:信号不足或噪声过多。

    • 过拟合(Overfitting)是指由于模型学习了太多噪声造成损失没有达到应有的水平。
    • 欠拟合(Underfitting)是指由于模型没有学习到足够的信号导致损失没有达到应有的水平。

    2.如何判断欠拟合和过拟合(不考虑训练损失和验证损失一开始就上升的奇葩情况)

    2.1对于训练前后训练损失变化不大,也就是常说的训练损失降不下去,那么一定是欠拟合。

    2.2对于训练前后训练损失变化大的,定义A1为训练损失一直下降,A2为训练损失先下降后平稳。B1为验证损失一直下降,B2为验证损失先下降后上升,B3为先下降后平稳。下面表示具体情况,可以发现与训练损失基本无关,只看验证损失就能得出

    • A1B1 欠拟合
    • A1B2 过拟合
    • A1B3 刚刚好
    • A2B1欠拟合
    • A2B2过拟合
    • A2B3刚刚好

    3.导致过拟合和欠拟合的原因及解决方案

    3.1欠拟合

    模型过于简单,连信号都学不太全:解决方案是提高算法模型复杂度(即提高模型的容量)

    • 去掉或降低正则化(Regularization):L1和L2
    • 去掉dropout
    • 使用更复杂的模型

    由于模型容量不足,所以只能通过改善信号和噪声的比例

    • 增加新特征,可以考虑加入进特征组合、高次特征,来增大假设空间
    • 添加多项式特征,这个在机器学习算法里面用的很普遍,例如将线性模型通过添加二次项或者三次项使模型泛化能力更强

    其他

    • 集成学习

    3.2过拟合

    模型过于复杂,连噪声也学全了:解决方案是降低算法模型复杂度(即降低模型的容量)

    • 增加或提高正则化(Regularization):L1和L2
    • 增加dropout
    • 使用更简单的模型

    因为模型容量充足,可以通过提高数据模型复杂度,来提高信号量。

    • 数据增广(扩大数据空间)

    由于模型容量充足,也能通过改善信号和噪声的比例

    • 增加新特征,可以考虑加入进特征组合、高次特征,来增大假设空间
    • 添加多项式特征,这个在机器学习算法里面用的很普遍,例如将线性模型通过添加二次项或者三次项使模型泛化能力更强

    其他

    • Early stopping
    • 集成学习
    • 重叠池化层
  • 相关阅读:
    SpringBoot项目
    记一次 JDK SPI 配置不生效的问题 → 这么简单都不会,还是回家养猪吧
    Redis Cluster 原理说的头头是道,这些配置不懂就是纸上谈兵
    实现一个todoList可直接操作数据(上移、下移、置顶、置底)
    tio-websocket-spring-boot-starter的最简单实例,看完你一定有所收获
    C++设计模式04-——装饰设计模式
    17哈希表-简单遍历
    【操作系统】【考研408】文件系统和磁盘实例
    【ElasticSearch系列-06】Es集群架构的搭建以及集群的核心概念
    【诈骗离你我很近】中国同胞进来看看国外诈骗新套路。
  • 原文地址:https://blog.csdn.net/pingguolou/article/details/126432927
  • 最新文章
  • 攻防演习之三天拿下官网站群
    数据安全治理学习——前期安全规划和安全管理体系建设
    企业安全 | 企业内一次钓鱼演练准备过程
    内网渗透测试 | Kerberos协议及其部分攻击手法
    0day的产生 | 不懂代码的"代码审计"
    安装scrcpy-client模块av模块异常,环境问题解决方案
    leetcode hot100【LeetCode 279. 完全平方数】java实现
    OpenWrt下安装Mosquitto
    AnatoMask论文汇总
    【AI日记】24.11.01 LangChain、openai api和github copilot
  • 热门文章
  • 十款代码表白小特效 一个比一个浪漫 赶紧收藏起来吧!!!
    奉劝各位学弟学妹们,该打造你的技术影响力了!
    五年了,我在 CSDN 的两个一百万。
    Java俄罗斯方块,老程序员花了一个周末,连接中学年代!
    面试官都震惊,你这网络基础可以啊!
    你真的会用百度吗?我不信 — 那些不为人知的搜索引擎语法
    心情不好的时候,用 Python 画棵樱花树送给自己吧
    通宵一晚做出来的一款类似CS的第一人称射击游戏Demo!原来做游戏也不是很难,连憨憨学妹都学会了!
    13 万字 C 语言从入门到精通保姆级教程2021 年版
    10行代码集2000张美女图,Python爬虫120例,再上征途
Copyright © 2022 侵权请联系2656653265@qq.com    京ICP备2022015340号-1
正则表达式工具 cron表达式工具 密码生成工具

京公网安备 11010502049817号