【统计学习方法】P2 监督学习

本笔记基于李航老师书籍《统计学习方法》
2022年9月6日第一次阅读

第二节 监督学习

监督学习的任务 是学习一个模型，使模型能够对任意给定的输入，对其相应的输出做一个好的预测。

输入空间、特征空间与输出空间的概念

输入空间： 输入的所有可能取值的集合称为输入空间(input space)；
输出空间： 输出的所有可能取值的集合称为输出空间(output space)；

每个具体的输入是一个实例，通常由特征向量表示。所有特征向量存在的空间称为特征空间，而特征向量的每一个维度对照着一个特征，或者称为属性。该属性其实就是每个实例的属性，而每个实例可能会有很多属性，每个属性也对照着一个属性值。根据属性与属性值张成的空间其实就是特征向量空间。

特征向量 x_i=(x_i⁽¹⁾,x_i⁽²⁾,…,x_i^(m))^T 表示第i个实例的m个属性。根据该特征向量张成空间，会发现其实属性的个数往往就是向量空间的维度。

---

监督学习的基本概念

监督学习从训练数据集合中学习模型，对测试数据进行预测。训练数据由输入与输出对组成，训练集通常表示为：T={(x₁,y₁),(x₂,y₂),…,(x_N,y_N)}

测试数据也由相应的输入与输出对组成，输入与输出对又称为样本或者样本点。

---

问题的形式化

监督学习利用训练数据集学习一个模型，再用模型去对测试样本进行预测。由于训练所用的训练集是由人工给出的，所以叫做监督学习。

在学习过程中，学习算法试图通过训练数据集中的样本(x_i,y_i)带来的信息学习模型。模型对输入的x_i产生一个输出f(x_i)，尝试缩小y_i与f(x_i)之间的差。