机器学习第一章 发展历史与背景

一、什么是机器学习

1、机器学习的发展历史和背景

1.1 人工智能与机器学习

• 诞生
  • 一批具有远见卓识的科学家共同探究使用机器模拟人类思维
    或人类智能的一系列问题，并在1956年夏季首次提出人工智能的
    概念。
• 目标
  • 通过计算机这台机器模拟人的某些思维能力或智能行为，让
    计算机能够像人类一样进行思考。
• 领域
  • 机器翻译、智能控制、图像理解、语音识别、游戏博弈等。
• 人工智能的发展历程
  • 逻辑推理阶段——人工智能发展的早期阶段
    • 时间：20世纪50年代至70年代
    • 思想：普遍认为实现人工智能的关键技术在于自动逻辑推理，只要
      机器被赋予逻辑推理能力就可以实现人工智能
    • 成果：主要通过谓词逻辑演算模拟人类智能。这个阶段的人工智能
      的主流核心技术是符号逻辑计算，在数学定理自动证明等领域获得
      了一定成功
  • 专家系统——以知识工程为核心技术
    • 时间：20世纪70年代至90年代
    • 提出原因：如果没有一定数量专业领域知识支撑，则很难实现对复
      杂实际问题的逻辑推理
    • 成果：专家系统使用基于专家知识库的知识推理取代纯粹的符号逻
      辑计算，在故障诊断、游戏博弈等领域取得了巨大成功
    • 方法：专家系统需要针对具体问题的专业领域特点建立相应的专家
      知识库，利用这些知识来完成推理和决策
    • 缺陷：将专家知识总结出来并以适当的方式告诉计算机程序有时非
      常困难，通常需要针对每个具体任务手工建立相应的知识库
    • 总结：专家知识的人工获取和表示方式严重制约了人工智能的进一
      步发展
  • 机器学习——如何使得机器能够像人类一样具有这种学习能力
    • 起源：20世纪50年代的感知机数学模型
    • 发展：20世纪90年代中期以来，机器学习得到迅速发展并逐步取代传
      统专家系统成为人工智能的主流核心技术，使得人工智能逐步进入机
      器学习时代。目前，以机器学习为主流核心技术的人工智能在多个领域取得的
      巨大成功已使其成为社会各界关注的焦点和引领社会未来的战略性技
      术
• 机器学习是一种通过先验信息来提升模型能力的方式
  具体地说，对于给定的任务和性能度量标准，使用先验信息，通过某种
  计算方式改进初始模型，获得一个性能更好的改进模型
  

1.2 机器学习的发展历程

• 感知机与连接学习
  
  人工智能的连接主义——通过模仿生物大脑神经网络结构的方式实现机器智能
  连接学习：使用样例信息调节神经元之间连接权重的学习方式
  
  

多层感知机在单层感知机基础之上添加一个隐藏层，通过基于反向传播的连接学习算法优化模型参数，图中输入数据1为线性组合中关于常数项的输入

• 符号学习与统计学习

符号主义认为思维的基本单元是符号信息，智能活动过程就是符号推理或符号计算的过程，生物大脑的本质就是一个能够高效处理符号信息的物理系统。基于符号主义理论，机器学习发展出另一套学习理论——符号学习。

决策树模型（Decision Tree）——符号学习代表性成果、基于归纳学习
决策树模型是一个树形结构，包含了一个根结点、若干内部结点和若干叶子结点。该模型主要用于表示某种级联判断或决策，其中每个结点对应一次判断或决策，叶子结点表示判断或决策的最终结果。

用于挑选篮球运动员的决策树模型

核方法的基本思想是将低维特征空间当中线性不可分的数据映射到高维特征空间当中，使得这些数据在高维特征空间当中线性可分。

支持向量机优势：
（1）支持向量机使用的最大间隔思想使得分类器模型只取决于支持向量，模型计算复杂度只与支持向量数目有关，有效避免了维数灾难问题并使得支持向量机对训练样本的变化具有较强的鲁棒性
（2）支持向量机的核方法在一定程度上避免了直接在高维空间中处理问题，有效降低了问题求解的难度

• 连接学习的兴起
  
  深度信念网络以受限玻尔兹曼机(RBM)为基本构建堆叠组件而成
  
• 机器学习与其他领域的关系–人工智能、表示学习、深度学习
  

2、机器学习的基本概念

2.1 必要性

• 系统太复杂，无法显式地进行编程：自动驾驶
• 无法明确定义出一个解决方案：图像识别
• 需要非常快速的判断和决策：高频交易
• 需要处理非常大量的数据：欧洲核子对撞机撞出来的数据

2.2 定义

• 五种实用的定义
  
  

机器学习致力于研究如何通过计算的手段，利用经验来改善系统自身的性能，从而在计算机上从数据中产生
“模型”，用于对新的情况给出判断

2.3 典型机器学习过程

2.4 基本术语

• 数据
  
• 任务
  
  
  
  
• 机器学习常见类型
  
  
  
  
  
• 泛化能力
  机器学习的目标是使得学到的模型能很好的适用于“新样本”,而不仅仅是训练集合，我们称模型适用于新样本的能力为泛化(generalization)能力
  
• 假设空间

        对于一个具体的回归或分类任务，所有可能的模型输入数据组成的集合称为输入空间，所有可能的模型输出数据构成的集合称为输出空间
        回归或分类机器学习任务的本质就是寻找一个从输入空间到输出空间的映射，并将该映射作为预测模型
        从输入空间到输出空间的所有可能映射组成的集合称为假设空间

• 模型偏好

满足条件的映射通常不止一个，此时需要对多个满足条件的映射做出选择

学习过程中对某种类型假设的偏好称作模型偏好

        模型偏好可看作学习算法自身在一个可能很庞大的假设空间中对假设进行选择的启发式或“价值观”
        “奥卡姆剃刀”是一种常用的、自然科学研究中最基本的原则，即“若有多个假设与观察一致，选最简单的那个”
        具体的现实问题中，学习算法本身所做的假设是否成立，也即算法的模型偏好是否与问题本身匹配，大多数时候直接决定了算法能否取得好的性能

• 误差与损失函数

        机器学习模型的输出结果与其对应的真实值之间往往会存在一定的差异，这种差异被称为模型的输出误差，简称为误差
        通常需要构造损失函数用于度量模型对于单个样本的输出误差

• 泛化误差与经验风险
  
• 参数学习
  
• 测试误差
  
• 过拟合与欠拟合

过拟合是同时拟合训练样本的共性特征和个性特征（噪声）
欠拟合是未能充分拟合训练样本共性特征造成模型泛化误差较大而导致模型泛化能力较弱

• 偏差与方差-“偏差-方差分解”是解释学习算法泛化性能的重要工具
  
  
  

2.5 机器学习三要素

二、练习题