1.过拟合和欠拟合的相关概念:在训练模型时可能会出现两个问题:信号不足或噪声过多。
2.如何判断欠拟合和过拟合(不考虑训练损失和验证损失一开始就上升的奇葩情况)
2.1对于训练前后训练损失变化不大,也就是常说的训练损失降不下去,那么一定是欠拟合。
2.2对于训练前后训练损失变化大的,定义A1为训练损失一直下降,A2为训练损失先下降后平稳。B1为验证损失一直下降,B2为验证损失先下降后上升,B3为先下降后平稳。下面表示具体情况,可以发现与训练损失基本无关,只看验证损失就能得出
3.导致过拟合和欠拟合的原因及解决方案
3.1欠拟合
模型过于简单,连信号都学不太全:解决方案是提高算法模型复杂度(即提高模型的容量)
由于模型容量不足,所以只能通过改善信号和噪声的比例
其他
3.2过拟合
模型过于复杂,连噪声也学全了:解决方案是降低算法模型复杂度(即降低模型的容量)
因为模型容量充足,可以通过提高数据模型复杂度,来提高信号量。
由于模型容量充足,也能通过改善信号和噪声的比例
其他