西瓜书-2.5偏差与方差

2.5-偏差与方差

对象

“偏差-方差分解”是解释学习算法的泛化性能的一种重要工具，即算法**“为什么”具有这样的性能**。

内容

偏差-方差分解对学习算法的期望泛化错误率进行拆解。

对测试样本$$x$$，有：

• 案例

以回归任务为例：

假设噪声期望=0，则通过多项式展开合并，得到算法的期望泛化误差为：
$$E(f;D)={bias}^2(x)+var(x)+{\epsilon }^2(2.5-5)$$
即泛化误差可分解为偏差、方差、噪声之和。

偏差-方差分解说明了泛化性能是由学习算法的能力、数据的充分性、学习任务本身的难度共同决定的。因此欲提高泛化性能，则需要使得偏差较小，即能充分拟合数据，并且使方差较小，即使得数据扰动产生的影响小。

而偏差、方差存在冲突，即“偏差-方差窘境”，如给定学习任务，假定控制学习算法的训练程度(决策树控制层数，神经网络控制训练轮数，集成学习方法控制基学习器个数)，则训练不足时，学习器拟合能力不够强，训练数据的扰动不足以使学习器产生显著变化，此时偏差主导了泛化错误率；随着训练程度加深，学习器拟合能力增强，训练数据发生的扰动可被学习器学到，方差开始主导泛化错误率；训练程度充分即学习器拟合能力足够，训练数据的轻微扰动都会导致学习器发生显著变化，若训练数据自身的、非全局的特性被学习器学到，则将导致过拟合。