14.baseline与bias/variance2

目录

baseline

学习曲线

 下一步怎么调整 ​编辑

bias or variance and neural network

---

baseline

        对于这个图中，我们如何判断它是high vias还是high variance。通过与人类的性能进行对比，发现，Jtrain与人类相差0.2，Jcv与Jrain相差4.2，所以可以判断这是high variance。

        最常用的一种baseline是人类为标准，有时候对于一些算法，也可以以之前的算法或者竞争算法为baseline。

        前两个对比，使你知道是否有high bias的问题，后两个对比，使你知道是否有high variance的问题。

学习曲线

        Jcv的train越大，模型学习的越多，loss越低。对于训练集来说，尺寸越大，越不容易拟合的很好。前三个样本拟合的很好，但是后面几个随着样本数量增加，模型的损失不再接近于0。

 

 下一步怎么调整 

        不要轻易减少训练集的大小，在cv上的性能会下降。

 

bias or variance and neural network

        

        更大的网络可能是增加隐藏层或者每一层的单元。