1.6 泛化能力

2022.09.4 李航老师《统计学习方法》： 一. 统计学习及监督学习概论
# 本文目的就是为学者简化学习内容，提取我认为的重点 把书读薄;
1
2

1.6 泛化能力

# 本文内容: 泛化误差的公式 和 推到过程
本文重点：泛化误差上界的推导过程
1
2

1.6.1 泛化误差

讲了啥是泛化误差
1

泛化误差就是学习到的模型对未知数据的预测能力。

• 未知数据带到模型里的结果：$\hat{f}$
• 每个模型，某个未知数据带入都有一个结果。哪个泛化能力最好？我们最终要看所有数据代入的风险函数哪个最好：$R_{exp}(\hat{f})$

R e x p ( f ) = E p [ L ( Y , f ( x ) ) ] = ∫ X × Y L ( y , f ( x ) ) P ( x , y )   d x d y R_{exp}(f)=E_p[L(Y,f(x))]=∫X×YL(y,f(x))P(x,y)dxdy

Rexp​(f)=Ep​[L(Y,f(x))]=∫X×Y​L(y,f(x))P(x,y)dxdy​
1.3.2有讲到，这个是要所有数据的联合分布，如果知道那么就不需要预测了，直接查找就行

所以，那么如何比较泛化能力呢？

---

1.6.2 泛化误差的上界

通过上界误差的方法来比较两个学习方法的泛化能力。误差越大 肯定越不好。

1. 性质1：当样本容量增加时，上界误差趋近于0；

样本容量越大，预测越准确，极限考虑，我们知道了所有数据，那么上界误差就是0了。
1

2. 性质2：假设空间容量越大，模型就越难学，泛化误差上界就越大；

假设空间也就是满足样本的函数，越多，那么选择的难度就越大，就越难学习，错误几率就越高，泛化误差上界就越大。
1

1.6.3 泛化误差上界的数学公式

对二分类问题，当假设空间是有限个函数的集合F={f1,f2,⋯,fd}时，对任意一个函数$f\in F$，至少以概率$1-\delta$ ,0<δ<1, 使得以下不等式成立：
$$R(f)\le R^{(}f)+ϵ(d,N,\delta )$$
其中，
$$ϵ(d,N,\delta )=\sqrt{\frac{1}{2N}(logd+log\underset{\delta }{}}$$