【李航统计学习】第 1 章 统计学习方法概论 笔记

1. 监督学习（Supervised learning）

1.1 监督学习的实现步骤：

• 得到一个有限的训练数据集合
• 确定模型的假设空间，也就是所有的备选模型
• 确定模型选择的准则，即学习的策略
• 实现求解最优模型的算法
• 通过学习方法选择最优模型
• 利用学习的最优模型对新数据进行预测或分析

1.2 训练集

$T=\{(x_1,y_1),(x_2,y_2),(x_N,y_N)\}$

1.3 实例 $x$ 的特征向量

$x=(x^{(1)},x^{(2)},...,x^{(n)}{)}^T$

1.4 模型

• 决策函数$Y=f(X)$
  预测形式$y=f(x)$
• 条件概率分布$P(Y|X)$
  预测形式$argmaxP(y|x)$

2. 统计学习三要素（Element of statistical learning）

• 模型（假设空间）：
  • 决策函数
    F = { f ∣ Y = f θ ( X ) , θ ∈ R n } F=\lbrace f|Y=f_\theta(X),\theta\in R^n \rbrace F={f∣Y=fθ​(X),θ∈Rn}
  • 条件概率分布
    F = { P ∣ P θ ( Y ∣ X ) , θ ∈ R n } F=\lbrace P|P_\theta(Y|X),\theta\in R^n \rbrace F={P∣Pθ​(Y∣X),θ∈Rn}
• 策略：
  • 0 - 1 损失函数
    $L(Y,f(X))=\{\begin{array}{l}1,Y\ne f(X)\\ 0,Y=f(X)\end{array}$
  • 平方损失函数
    $L(Y,f(X))=(Y-f(X){)}^2$
  • 绝对损失函数
    $L(Y,f(X))=|Y-f(X)|$
  • 对数损失函数
    $L(Y,P(Y|X))=-logP(Y|X)$
  • 经验风险最小化
    $\underset{f\in F}{\min }\frac{1}{N}{\sum }_{i=1}^{n}L(y_i,f(x_i))$
  • 结构风险最小化
    $\underset{f\in F}{\min }\frac{1}{N}{\sum }_{i=1}^{n}L(y_i,f(x_i))+\lambda J(f)$
• 算法：
  挑选一个合适的算法，使得可以求解最优模型

3. 模型评估与选择

• 训练误差：$\frac{1}{N}{\sum }_{i=1}^{N}L(y_i,\hat{f}(x_i))$
• 测试误差：$\frac{1}{N^{\prime }}{\sum }_{i=1}^{N^{\prime }}L(y_i,\hat{f}(x_i))$

4. 多项式拟合问题

5. 正则化与交叉验证

• 最小化结构风险：
  $\frac{1}{N}{\sum }_{i=1}^{N}L(y_i,f(x_i))+\lambda J(f)$
• 交叉验证：
  数据集随机划分为以下三部分，
  训练集：模型的训练
  测试集：模型的选择
  验证集：模型的评估

6. 泛化能力（Generalization ability）

• 定理 1.1 泛化误差上界
  对于二分类问题，当假设空间是有限个函数的集合 F = { f 1 , f 2 , . . . , f d } F=\lbrace f_1,f_2,...,f_d \rbrace F={f1​,f2​,...,fd​} 时，对任意一个函数 $f\in F$，至少以概率 $1-\delta$，以下不等式成立：
  $$R(f)\le \hat{R}(f)+ϵ(d,N,\delta )$$
  其中，$ϵ(d,N,\delta )=\sqrt{\frac{1}{2N}(logd+log\frac{1}{\delta })}$

7. 生成模型与判别模型（Generative model and discriminant model）

• 生成方法:
  $P(Y|X)=\frac{P(X,Y)}{P(X)}$
• 判别方法：
  $f(X)或P(Y|X)$

8. 分类问题（Classification）

• TP - 将正类预测为正类数
• FN - 将负类预测为负类数
• FP - 将负类预测为正类数
• TN - 将负类预测为负类数

精确率：预测为正类的样本中有多少被分对了
$P=\frac{TP}{TP+FP}$
召回率：在实际正类中，有多少正类被模型发现了
$R=\frac{TP}{TP+FN}$
F1 值：
$\frac{2}{F_1}=\frac{1}{P}+\frac{1}{R}$

$F_1=\frac{2TP}{2TP+FP+FN}$

9. 标注问题（Tagging）

输入：
$x=(x^{(1)},x^{(2)},...,x^{(n)}{)}^T$
输出：
$y=(y^{(1)},y^{(2)},...,y^{(n)}{)}^T$

10. 回归问题（Regression）

总结（Summarization）：

1. 统计学习路线：设计模型 -> 训练 -> 预测
2. 监督学习与非监督学习的联系区别
3. 统计学习三要素：模型、策略、算法
4. 模型的评估：训练误差、验证误差、测试误差
5. 正则化与交叉验证
6. 泛化能力：泛化误差上界
7. 生成模型与判别模型的联系与区别
8. 分类问题：准确率、精确率、召回率、F1 值
9. 标注问题：序列标注
10. 回归问题：输出为连续值