机器学习基础

机器学习的概念

机器学习是什么

• 机器学习的定义：
  • 机器学习（Machine Learning，ML）主要研究计算机系统对特定任务的性能，逐步进行改善的算法和统计模型。
  • 通过输入海量训练数据对模型进行训练，是模型掌握数据所蕴含的潜在规律，进而对新输入的数据进行准确的分类或预测。
  • 是一门多领域交叉学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。

机器学习的分类

有监督学习

提供数据并提供数据对应结果的机器学习过程。

• 监督学习（supervised Learning）算法构建了包含输入和所需输出的一组数据的数学模型。这些数据称为训练数据，由一组训练样本组成。
• 监督学习主要包括分类和回归。
• 当输出被限制为有限的一组值（离散数值）时，使用分类算法。
• 当输出可以具有范围内的任意数值（连续数值）时，使用回归算法。
• 相似度学习是和回归和分类都密切相关的一类监督机器学习，它的目标是使用相似性函数从样本中学习，这个函数可以度量两个对象之间的相似度或关联度。它在排名、推荐系统、视觉识别跟踪、人脸识别等方面都有很好的应用场景。
• 应用（预测房价或房屋出售情况）：

无监督学习

提供数据并且不提供数据对应结果的机器学习过程。

• 无监督学习（Unsupervised Learning）算法采用一组仅包含输入的数据，通过寻找数据中的内在结构来进行样本点的分组或聚类。
• 算法从没有被标记或分类的测试数据中学习。
• 无监督学习算法不是相应反馈，而是要识别数据中的共性特征；对于一个新数据，可以判断其中是否存在这些特征，来做出相应的反馈。
• 无监督学习的核心应用是统计学中的密度估计和聚类分析。
• 应用：

强化学习

通过与环境交互并获取延迟返回进而改进行为的学习过程。

图谱

监督学习深入介绍

监督学习三要素

• 模型（model）：总结数据的内在规律，用数学函数描述的系统。
• 策略（strategy）：选取最优模型的评价准则。
• 算法（algorithm）：选取最优模型的具体方法。

实现步骤

• 得到一个有限的训练数据集
• 确定包含所有学习模型的集合
• 确定模型选择的准则，也就是学习策略
• 实现求解最优模型的算法，也就是学习算法
• 通过学习算法选择最优模型
• 利用的到的最优模型，对新数据进行预测或分析

模型评估策略

• 模型评估：
  • 训练集和测试集
  • 损失函数和经验风险
  • 训练误差和测试误差
• 模型选择：
  • 过拟合和欠拟合
  • 正则化和交叉验证

训练集和测试集

我们将用来训练模型的数据称为训练集，将用来测试模型好坏的集合称为测试集

• 训练集：输入到模型中对模型进行训练的数据集合。
• 测试集：模型训练完成后测试训练效果的数据集合。

损失函数

• 损失函数用来衡量模型预测误差的大小。

• 定义：选取模型f为决策函数，对于给定的输入参数x，f(x)为预测结果，Y为真实结果；f(x)与Y之间可能会有偏差，我们就用一个损失函数（loss function）来度量预测偏差的成度，记作L(Y,f(X))。

• 损失函数的系数是函数。

• 损失函数越小，模型就越好。

• 常见损失函数：

经验风险

训练误差和测试误差

过拟合和欠拟合

• 前两个（欠拟合），后两个（过拟合）：

欠拟合

• 模型没有很好地捕捉数据特征，特征集过小，导致模型不能很好地拟合数据，称之为欠拟合（under-fitting）
• 欠拟合的本质是对数据的特征“学习”得不够

过拟合

• 把训练数据学的太彻底，以至于把噪声数据的特征也学习到了，特征集过大，这样就就会导致在后期测试的时候不能很好地识别数据，即不能正确的分类，模型泛化能力太差，称之为过拟合（over-fitting）

模型的选择

正则化

交叉验证

• 数据集划分
  • 如果样本数据充足，一种简单的方法是随机将数据集切成三部分：训练集（training set）、验证集（validation set）和测试集（test set）
  • 训练集用于训练模型，验证集用于模型选择，测试集用于学习方法评估。
• 数据不充分时，可以重复地利用数据——交叉验证（cross validation）
  • 简单交叉验证：
    • 数据随机分为两部分，如70%作为训练集，30%作为测试集
    • 训练集在不同的条件下（比如参数个数）训练模型，得到不同的模型
    • 在测试集上评价各个模型的测试误差，选出最优模型
  • S折交叉验证：
    • 将数据随机切分为S个互不相交、相同大小的子集；S-1个做训练集，剩下一个做测试集
    • 重复进行训练集、测试集的选取，有S种可能的选择
  • 留一交叉验证

分类和回归

• 监督学习问题主要可以划分为两类：分类问题、回归问题。
  • 分类问题预测数据属于哪一类别——离散
  • 回归问题根据数据预测一个数值——连续

分类问题

回归问题

回归问题的分类：

• 按照输入变量的个数：一元回归和多元回归
• 按照模型类型：线性回归和非线性回归

回归学习的损失函数——平方损失函数

如果选取平方损失函数作为损失函数，回归问题可以用著名的最小二乘法（least squares）来求解

模型求解算法

梯度下降算法

• 梯度下降（gradient descent）是一种常用的一阶优化方法，是求解无约束优化问题最简单、最经典的方法之一。
• 梯度方向：函数变化增长最快的方向（变量沿此方向变化时函数增长最快）
• 负梯度方向：函数变化减少最快的方向（变量沿此方向变化时函数减少最快）
• 损失函数是系数的函数，那么如果系数沿着损失函数的负梯度方向变化，此时损失函数减少最快，能够以最快速度下降到极小值。

牛顿法和拟牛顿法