【李航统计学习笔记】第一章：统计学习及监督学习概论

1.1 导论

统计学习

监督学习的实现步骤:

1. 得到一个有限的训练数据集合

2. 确定模型的假设空间，也就是所有的备选模型

3. 确定模型选择的准则，即学习的策略

4. 实现求解最优模型的算法

5. 通过学习方法选择最优模型

6. 利用学习的最优模型对新数据进行预测或分析

监督学习

训练集： T = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , ⋯   , ( x N , y N ) } T=\left\{\left(x_{1}, y_{1}\right),\left(x_{2}, y_{2}\right), \cdots,\left(x_{N}, y_{N}\right)\right\} T={(x1​,y1​),(x2​,y2​),⋯,(xN​,yN​)}

实例$x$的特征向量：$x={\left(x^{(1)},x^{(2)},\cdots ,x^{(n)}\right)}^T$

模型：

1. 决策函数：$Y=f(X)$. 预测形式: $y=f(x)$.
2. 条件概率分布: $P(Y|X)$. 预测形式: $\underset{y}{\mathrm{argmax}}(y|x)$

统计学习三要素

要素一：模型（假设空间）

决策函数: F = { f ∣ Y = f θ ( X ) , θ ∈ R n } F=\left\{f | Y=f_{\theta}(X), \theta \in R^{n}\right\} F={f∣Y=fθ​(X),θ∈Rn}

条件概率分布: F = { P ∣ P θ ( Y ∣ X ) , θ ∈ R n } F=\left\{P\left|P_{\theta}(Y | X), \theta \in R^{n}\right\}\right. F={P∣Pθ​(Y∣X),θ∈Rn}

要素二：策略：

损失函数

1. 0-1损失函数

L ( Y , f ( X ) ) = { 1 , Y ≠ f ( X ) 0 , Y = f ( X ) L(Y, f(X))=\left\{

\right. L(Y,f(X))={1,Y=f(X)0,Y=f(X)​

2. 平方损失函数

$$L(Y,f(X))=(Y-f(X){)}^2$$

3. 绝对损失函数

$$L(Y,f(X))=|Y-f(X)|$$

4. 对数损失函数

$$L(Y,P(Y\mid X))=-\log P(Y\mid X)$$

经验风险最小化：
$$\underset{f\in F}{\min }\frac{1}{N}\sum _{i=1}^{N}L\left(y_i,f\left(x_i\right)\right)$$
结构风险最小化
$$\underset{f\in F}{\min }\frac{1}{N}\sum _{i=1}^{N}L\left(y_i,f\left(x_i\right)\right)+\lambda J(f)$$

要素三：算法

挑选一个最合适的算法，使得可以求解最优模型

模型评估与模型选择

训练误差：
$$\frac{1}{N}\sum _{i=1}^{N}L\left(y_i,\hat{f}\left(x_i\right)\right)$$
测试误差：
$$\frac{1}{N^{\prime }}\sum _{i=1}^{N^{\prime }}L\left(y_i,\hat{f}\left(x_i\right)\right)$$

多项式拟合问题

正则化与交叉验证

最小化结构风险：
$$\frac{1}{N}\sum _{i=1}^{N}L\left(y_i,f\left(x_i\right)\right)+\lambda J(f)$$
交叉验证：数据集随机划分为以下三部分，训练集（模型的训练），验证集（模型的选择），测试集（模型的评估）。

泛化能力

定理1.1 泛化误差上界

对于二分类问题，当假设空间是有限个函数的集合 F = { f 1 , f 2 , ⋯   , f d } F=\left\{f_{1}, f_{2}, \cdots, f_{d}\right\} F={f1​,f2​,⋯,fd​}时, 对任意一个函数$f\in F$, 至少以概率$1-\delta$,以下不等式成立:
$$R(f)\le \hat{R}(f)+\epsilon (d,N,\delta )$$
其中:
$$\epsilon (d,N,\delta )=\sqrt{\frac{1}{2N}\left(\log d+\log \frac{1}{\delta }\right)}$$

生成模型与判别模型

生成方法: $P(Y|X)=\frac{P(X,Y)}{P(X)}$ 。比如说，如何知道女孩子的姓名呢？生成方法就是：我要是把她爸妈建模出来，直接问她 爸妈不就行了吗?

判别方法: $f(x)$或$P(Y|X)$. 沿用上面例子，判别方法就是：她叫小红的概率是多少？她叫小刘的概率时多少？。。。

分类问题

精确率:
$$P=\frac{TP}{TP+FP}$$
召回率:
$$R=\frac{TP}{TP+FN}$$

F1值：
2 F 1 = 1 P + 1 R F 1 = 2 T P 2 T P + F P + F N

F1​2​F1​​=P1​+R1​=2TP+FP+FN2TP​​

1.2 极大似然估计

在掷硬币实验中估计出现正面向上的概率$\theta$

极大似然估计：
x i = { 1 ,  正  0 ,  负  x i ∼ B ( 1 , θ ) x_{i}=\left\{

\quad x_{i} \sim \mathrm{B}(1, \theta)\right. xi​={1, 正 0, 负 ​xi​∼B(1,θ)
概率函数：
$$P(X=x)={\theta }^x(1-\theta {)}^{1-x}$$
似然函数：
L ( θ ) = P ( X 1 = x 1 ∣ θ ) ⋯ P ( X n = x n ∣ θ ) = ∏ i = 1 n θ x i ( 1 − θ ) 1 − x i

L(θ)=P(X1=x1∣θ)⋯P(Xn=xn∣θ)=∏i=1nθxi(1−θ)1−xi" role="presentation" style="position: relative;">L(θ)=P(X1=x1∣θ)⋯P(Xn=xn∣θ)=∏i=1nθxi(1−θ)1−xi$$\begin{array}{rl}\mathrm{L}(\theta )& =P\left(X_1=x_1\mid \theta \right)\cdots P\left(X_n=x_n\mid \theta \right)\\ & =\prod _{i=1}^n{\theta }^{x_i}(1-\theta {)}^{1-x_i}\end{array}$$

L(θ)​=P(X1​=x1​∣θ)⋯P(Xn​=xn​∣θ)=i=1∏n​θxi​(1−θ)1−xi​​

max ⁡ ln ⁡ L ( θ ) = ∑ i = 1 n [ ln ⁡ θ x i + ln ⁡ ( 1 − θ ) 1 − x i ] = ∑ i = 1 n x i ln ⁡ θ + ( n − ∑ i = 1 n x i ) ln ⁡ ( 1 − θ ) ∂ ln ⁡ L ( θ ) ∂ θ = ∑ i = 1 n x i θ − n − ∑ j = 1 n x i 1 − θ = 0

maxlnL(θ)∂θ∂lnL(θ)​=​=i=1∑n​[lnθxi​+ln(1−θ)1−xi​]=i=1∑n​xi​lnθ+(n−i=1∑n​xi​)ln(1−θ)θ∑i=1n​xi​​−1−θn−∑j=1n​xi​​=0​

估计值：
$$\hat{\theta }=\frac{{\sum }_{\mathrm{i}=1}^n{x}_i}{n}$$

1.3 梯度下降法

输入：目标函数$f(x)$, 梯度函数$g(x)=\Delta f(x)$,计算精度$ϵ$， 步长$\eta$

输出：$f(x)$的极小值点$x^{\ast }$

步骤：

1. 取初始值$x^0\in R^n$,置$k=0$
2. 计算$f\left(x^k\right)$
3. 计算梯度$g_k=g\left(x^{(k)}\right)$,当$||g_k||<ϵ$时，停止迭代。否则，$x^{k+1}=x^k-\eta \ast g_k$,重新转至步骤2