人工智能知识

1. 内容介绍

本章详细介绍了人工智能知识图谱与应用。

2. 理论目标

• 了解人工智能发展历程
• 了解机器学习定义以及应用场景
• 知道机器学习算法监督学习与无监督学习的区别
• 知道监督学习中的分类、回归特点
• 知道机器学习的开发流程

3. 实践目标

• 无

4. 实践案例

无

5. 内容目录

• 1.Pygame运行环境安装
• 2.第一个Pygame程序
• 3.Pygame窗口创建
• 4.字体、坐标系和颜色
• 5.事件的作用
• 6.图形的绘制
• 7.图像与数学公式

---

第1节 人工智能概述

学习目标

• 了解人工智能在现实生活中的应用
• 知道人工智能发展必备三要素
• 知道人工智能和机器学习、深度学习三者之间的关系

1. 人工智能应用场景

人工智能小案例

• 案例一：

  

    参考链接：https://quickdraw.withgoogle.com
  

• 案例二

  参考链接：https://pjreddie.com/darknet/yolo/

• 案例三：

  查看更多：https://deepdreamgenerator.com/

2. 人工智能三要素

• 数据
• 算法
• 计算力
  • CPU,GPU,TPU

• 计算力之CPU、GPU对比：

  • CPU主要适合I\O密集型的任务
  • GPU主要适合计算密集型任务

• 提问：什么类型的程序适合在GPU上运行？

（1）计算密集型的程序。

所谓计算密集型(Compute-intensive)的程序，就是其大部分运行时间花在了寄存器运算上，寄存器的速度和处理器的速度相当，从寄存器读写数据几乎没有延时。可以做一下对比，读内存的延迟大概是几百个时钟周期；读硬盘的速度就不说了，即便是SSD, 也实在是太慢了。

（2）易于并行的程序。

GPU其实是一种SIMD(Single Instruction Multiple Data)架构， 他有成百上千个核，每一个核在同一时间最好能做同样的事情。

CPU和GPU的区别：

http://www.sohu.com/a/201309334_468740

Google TPU 介绍：

https://buzzorange.com/techorange/2017/09/27/what-intel-google-nvidia-microsoft-do-for-ai-chips/

人工智能、机器学习和深度学习

• 人工智能和机器学习，深度学习的关系
  • 机器学习是人工智能的一个实现途径
  • 深度学习是机器学习的一个方法发展而来

3. 小结

• 人工智能应用场景【了解】
  • 网络安全、电子商务、计算模拟、社交网络 … …
• 人工智能必备三要素【知道】
  • 数据、算法、计算力
• 人工智能和机器学习，深度学习的关系【知道】
  • 机器学习是人工智能的一个实现途径
  • 深度学习是机器学习的一个方法发展而来

---

第2节 人工智能发展历程

1. 人工智能的起源

图灵测试

测试者与被测试者（一个人和一台机器）隔开的情况下，通过一些装置（如键盘）向被测试者随意提问。多次测试（一般为5min之内），如果有超过30%的测试者不能确定被测试者是人还是机器，那么这台机器就通过了测试，并被认为具有人类智能

达特茅斯会议

1956年8月，在美国汉诺斯小镇宁静的达特茅斯学院中，

约翰·麦卡锡（John McCarthy）

马文·闵斯基（Marvin Minsky，人工智能与认知学专家）

克劳德·香农（Claude Shannon，信息论的创始人）

艾伦·纽厄尔（Allen Newell，计算机科学家）

赫伯特·西蒙（Herbert Simon，诺贝尔经济学奖得主）等科学家正聚在一起，讨论着一个完全不食人间烟火的主题：

用机器来模仿人类学习以及其他方面的智能。

会议足足开了两个月的时间，虽然大家没有达成普遍的共识，但是却为会议讨论的内容起了一个名字：

人工智能

因此，1956年也就成为了人工智能元年。

2. 发展历程

人工智能充满未知的探索道路曲折起伏。如何描述人工智能自1956年以来60余年的发展历程，学术界可谓仁者见仁、智者见智。我们将人工智能的发展历程划分为以下6个阶段：

• 第一是起步发展期：1956年—20世纪60年代初。

  人工智能概念提出后，相继取得了一批令人瞩目的研究成果，如机器定理证明、跳棋程序等，掀起人工智能发展的第一个高潮。

• 第二是反思发展期：20世纪60年代—70年代初。

  人工智能发展初期的突破性进展大大提升了人们对人工智能的期望，人们开始尝试更具挑战性的任务，并提出了一些不切实际的研发目标。然而，接二连三的失败和预期目标的落空（例如，无法用机器证明两个连续函数之和还是连续函数、机器翻译闹出笑话等），使人工智能的发展走入低谷。

• 第三是应用发展期：20世纪70年代初—80年代中。

  20世纪70年代出现的专家系统模拟人类专家的知识和经验解决特定领域的问题，实现了人工智能从理论研究走向实际应用、从一般推理策略探讨转向运用专门知识的重大突破。专家系统在医疗、化学、地质等领域取得成功，推动人工智能走入应用发展的新高潮。

• 第四是低迷发展期：20世纪80年代中—90年代中。

  随着人工智能的应用规模不断扩大，专家系统存在的应用领域狭窄、缺乏常识性知识、知识获取困难、推理方法单一、缺乏分布式功能、难以与现有数据库兼容等问题逐渐暴露出来。

• 第五是稳步发展期：20世纪90年代中—2010年。

  由于网络技术特别是互联网技术的发展，加速了人工智能的创新研究，促使人工智能技术进一步走向实用化。1997年国际商业机器公司（简称IBM）深蓝超级计算机战胜了国际象棋世界冠军卡斯帕罗夫，2008年IBM提出“智慧地球”的概念。以上都是这一时期的标志性事件。

• 第六是蓬勃发展期：2011年至今。

  随着大数据、云计算、互联网、物联网等信息技术的发展，泛在感知数据和图形处理器等计算平台推动以深度神经网络为代表的人工智能技术飞速发展，大幅跨越了科学与应用之间的“技术鸿沟”，诸如图像分类、语音识别、知识问答、人机对弈、无人驾驶等人工智能技术实现了从“不能用、不好用”到“可以用”的技术突破，迎来爆发式增长的新高潮。

3. 小结

• 人工智能的起源【了解】
  • 图灵测试
  • 达特茅斯会议
• 人工智能的发展经历了六个阶段【了解】
  • 起步发展期
  • 反思发展期
  • 应用发展期
  • 低迷发展期
  • 稳步发展期
  • 蓬勃发展期

---

第3节 人工智能的主要分支

通讯、感知与行动是现代人工智能的三个关键能力，在这里我们将根据这些能力/应用对这三个技术领域进行介绍：

• 计算机视觉(CV)、
• 自然语言处理(NLP)
  • 在 NLP 领域中，将覆盖文本挖掘/分类、机器翻译和语音识别。
• 机器人

1. 分支一：计算机视觉

计算机视觉(CV)是指机器感知环境的能力。这一技术类别中的经典任务有图像形成、图像处理、图像提取和图像的三维推理。物体检测和人脸识别是其比较成功的研究领域。

当前阶段：

计算机视觉现已有很多应用，这表明了这类技术的成就，也让我们将其归入到应用阶段。随着深度学习的发展，机器甚至能在特定的案例中实现超越人类的表现。但是，这项技术离社会影响阶段还有一定距离，那要等到机器能在所有场景中都达到人类的同等水平才行(感知其环境的所有相关方面)。

发展历史

2. 分支二：语音识别

语音识别是指识别语音(说出的语言)并将其转换成对应文本的技术。相反的任务(文本转语音/TTS)也是这一领域内一个类似的研究主题。

当前阶段：

语音识别已经处于应用阶段很长时间了。最近几年，随着大数据和深度学习技术的发展，语音识别进展颇丰，现在已经非常接近社会影响阶段了。

语音识别领域仍然面临着声纹识别和**「鸡尾酒会效应」**等一些特殊情况的难题。

现代语音识别系统严重依赖于云，在离线时可能就无法取得理想的工作效果。

发展历史

• 百度语音识别：

  • 距离小于1米，中文字准率97%+
  • 支持耳语、长语音、中英文混合及方言

  

3. 分支三：文本挖掘/分类

**这里的文本挖掘主要是指文本分类，该技术可用于理解、组织和分类结构化或非结构化文本文档。**其涵盖的主要任务有句法分析、情绪分析和垃圾信息检测。

当前阶段：

我们将这项技术归类到应用阶段，因为现在有很多应用都已经集成了基于文本挖掘的情绪分析或垃圾信息检测技术。文本挖掘技术也在智能投顾的开发中有所应用，并且提升了用户体验。

文本挖掘和分类领域的一个瓶颈出现在歧义和有偏差的数据上

发展历史：

4. 分支四：机器翻译

机器翻译(MT)是利用机器的力量自动将一种自然语言(源语言)的文本翻译成另一种语言(目标语言)。

当前阶段：

机器翻译是一个见证了大量发展历程的应用领域。该领域最近由于神经机器翻译而取得了非常显著的进展，但仍然没有全面达到专业译者的水平；但是，我们相信在大数据、云计算和深度学习技术的帮助下，机器翻译很快就将进入社会影响阶段。

在某些情况下，俚语和行话等内容的翻译会比较困难(受限词表问题)。

专业领域的机器翻译(比如医疗领域)表现通常不好

发展历史

5. 分支五：机器人

机器人学(Robotics)研究的是机器人的设计、制造、运作和应用，以及控制它们的计算机系统、传感反馈和信息处理。

**机器人可以分成两大类:固定机器人和移动机器人。**固定机器人通常被用于工业生产(比如用于装配线)。常见的移动机器人应用有货运机器人、空中机器人和自动载具。机器人需要不同部件和系统的协作才能实现最优的作业。其中在硬件上包含传感器、反应器和控制器；另外还有能够实现感知能力的软件，比如定位、地图测绘和目标识别。

当前阶段：

自上世纪「Robot」一词诞生以来，人们已经为工业制造业设计了很多机器人。工业机器人是增长最快的应用领域，它们在 20 世纪 80 年代将这一领域带入了应用阶段。在安川电机、Fanuc、ABB、库卡等公司的努力下，我们认为进入 21 世纪之后，机器人领域就已经进入了社会影响阶段，此时各种工业机器人已经主宰了装配生产线。此外，软体机器人在很多领域也有广泛的应用，比如在医疗行业协助手术或在金融行业自动执行承销过程。

但是，法律法规和「机器人威胁论」可能会妨碍机器人领域的发展。还有设计和制造机器人需要相对较高的投资。

发展历史

总的来说，人工智能领域的研究前沿正逐渐从搜索、知识和推理领域转向机器学习、深度学习、计算机视觉和机器人领域。大多数早期技术至少已经处于应用阶段了，而且其中一些已经显现出了社会影响力。一些新开发的技术可能仍处于工程甚至研究阶段，但是我们可以看到不同阶段之间转移的速度变得越来越快。

6. 小结

• 人工智能主要分支【了解】
  • 计算机视觉
  • 语音识别
  • 文本挖掘/分类
  • 机器翻译
  • 机器人

---

第4节 机器学习工作流程

1. 什么是机器学习

机器学习是从数据中自动分析获得模型，并利用模型对未知数据进行预测。

机器学习工作流程

• 机器学习工作流程总结
  • 1.获取数据
  • 2.数据基本处理
  • 3.特征工程
  • 4.机器学习(模型训练)
  • 5.模型评估
    • 结果达到要求，上线服务
    • 没有达到要求，重新上面步骤

2. 机器学习工作流程

获取到的数据集介绍

• 数据简介

  在数据集中一般：

  • 一行数据我们称为一个样本
  • 一列数据我们成为一个特征
  • 有些数据有目标值（标签值），有些数据没有目标值（如上表中，电影类型就是这个数据集的目标值）

• 数据类型构成：

  • 数据类型一：特征值+目标值（目标值是连续的和离散的）
  • 数据类型二：只有特征值，没有目标值

• 数据分割：

  • 机器学习一般的数据集会划分为两个部分：
    • 训练数据：用于训练，构建模型
    • 测试数据：在模型检验时使用，用于评估模型是否有效
  • 划分比例：
    • 训练集：70% 80% 75%
    • 测试集：30% 20% 25%

数据基本处理

即对数据进行缺失值、去除异常值等处理

3. 特征工程

什么是特征工程

特征工程是使用专业背景知识和技巧处理数据，使得特征能在机器学习算法上发挥更好的作用的过程。

• 意义：会直接影响机器学习的效果

为什么需要特征工程(Feature Engineering)

机器学习领域的大神Andrew Ng(吴恩达)老师说“Coming up with features is difficult, time-consuming, requires expert knowledge. “Applied machine learning” is basically feature engineering. ”

注：业界广泛流传：数据和特征决定了机器学习的上限，而模型和算法只是逼近这个上限而已。

特征工程包含内容

• 特征提取
• 特征预处理
• 特征降维

各概念具体解释

• 特征提取

  • 将任意数据（如文本或图像）转换为可用于机器学习的数字特征

• 特征预处理

  • 通过一些转换函数将特征数据转换成更加适合算法模型的特征数据过程

  

• 特征降维

  • 指在某些限定条件下，降低随机变量(特征)个数，得到一组“不相关”主变量的过程

  

4. 小结

• 机器学习定义【掌握】
  • 机器学习是从数据中自动分析获得模型，并利用模型对未知数据进行预测
• 机器学习工作流程总结【掌握】
  • 1.获取数据
  • 2.数据基本处理
  • 3.特征工程
  • 4.机器学习(模型训练)
  • 5.模型评估
    • 结果达到要求，上线服务
    • 没有达到要求，重新上面步骤
• 获取到的数据集介绍【掌握】
  • 数据集中一行数据一般称为一个样本，一列数据一般称为一个特征。
  • 数据集的构成：
    • 由特征值+目标值（部分数据集没有）构成
  • 为了模型的训练和测试，把数据集分为：
    • 训练数据（70%-80%）和测试数据（20%-30%）
• 特征工程包含内容【了解】
  • 特征提取
  • 特征预处理
  • 特征降维

---

第5节 分类算法

1. 监督学习

• 定义：
  • 输入数据是由输入特征值和目标值所组成。
    • 函数的输出可以是一个连续的值(称为回归），
    • 或是输出是有限个离散值（称作分类）。

回归问题

例如：预测房价，根据样本集拟合出一条连续曲线。

分类问题

例如：根据肿瘤特征判断良性还是恶性，得到的是结果是“良性”或者“恶性”，是离散的。

2. 无监督学习

定义：

• 输入数据是由输入特征值组成，没有目标值
  • 输入数据没有被标记，也没有确定的结果。样本数据类别未知；
  • 需要根据样本间的相似性对样本集进行类别划分。

举例：

有监督，无监督算法对比

3.半监督学习

• 定义：
  • 训练集同时包含有标记样本数据和未标记样本数据。

举例：

• 监督学习训练方式

• 半监督学习训练方式

  

4. 强化学习

• 定义：
  • 实质是make decisions 问题，即自动进行决策，并且可以做连续决策。

举例：

小孩想要走路，但在这之前，他需要先站起来，站起来之后还要保持平衡，接下来还要先迈出一条腿，是左腿还是右腿，迈出一步后还要迈出下一步。

小孩就是 agent，他试图通过采取行动（即行走）来操纵环境（行走的表面），并且从一个状态转变到另一个状态（即他走的每一步），当他完成任务的子任务（即走了几步）时，孩子得到奖励（给巧克力吃），并且当他不能走路时，就不会给巧克力。

主要包含五个元素：agent, action, reward, environment, observation;

强化学习的目标就是获得最多的累计奖励。

监督学习和强化学习的对比

拓展概念：什么是独立同分布：

独立同分布概念

---

5 小结

---

第6节 模型评估

模型评估是模型开发过程不可或缺的一部分。它有助于发现表达数据的最佳模型和所选模型将来工作的性能如何。

按照数据集的目标值不同，可以把模型评估分为分类模型评估和回归模型评估

1.分类模型评估

• 准确率

  • 预测正确的数占样本总数的比例。

• 其他评价指标：精确率、召回率、F1-score、AUC指标等

2. 回归模型评估

均方根误差（Root Mean Squared Error，RMSE）

• RMSE是一个衡量回归模型误差率的常用公式。 不过，它仅能比较误差是相同单位的模型。

举例：

假设上面的房价预测，只有五个样本，对应的
真实值为：100,120,125,230,400
预测值为：105,119,120,230,410

那么使用均方根误差求解得：

RMSE=\sqrt[2]{\frac{[(100-105)^2+(120-119)^2+5^2+0^2+10^2]}{5}} =5.495RMSE=25[(100−105)2+(120−119)2+52+02+102]​​=5.495

其他评价指标：相对平方误差（Relative Squared Error，RSE）、平均绝对误差（Mean Absolute Error，MAE)、相对绝对误差（Relative Absolute Error，RAE)

3. 拟合

模型评估用于评价训练好的的模型的表现效果，其表现效果大致可以分为两类：过拟合、欠拟合。

在训练过程中，你可能会遇到如下问题：

训练数据训练的很好啊，误差也不大，为什么在测试集上面有问题呢？

当算法在某个数据集当中出现这种情况，可能就出现了拟合问题

欠拟合

因为机器学习到的天鹅特征太少了，导致区分标准太粗糙，不能准确识别出天鹅。

欠拟合（under-fitting）：模型学习的太过粗糙，连训练集中的样本数据特征关系都没有学出来。

过拟合

机器已经基本能区别天鹅和其他动物了。然后，很不巧已有的天鹅图片全是白天鹅的，于是机器经过学习后，会认为天鹅的羽毛都是白的，以后看到羽毛是黑的天鹅就会认为那不是天鹅。

过拟合（over-fitting）：所建的机器学习模型或者是深度学习模型在训练样本中表现得过于优越，导致在测试数据集中表现不佳。

• 上问题解答：
  • 训练数据训练的很好啊，误差也不大，为什么在测试集上面有问题呢？

4. 小结

• 分类模型评估【了解】
  • 准确率
• 回归模型评估【了解】
  • RMSE – 均方根误差
• 拟合【知道】
  • 举例 – 判断是否是人
  • 欠拟合
    • 学习到的东西太少
    • 模型学习的太过粗糙
  • 过拟合
    • 学习到的东西太多
    • 学习到的特征多，不好泛化

---

第7节 深度学习的介绍

1. 深度学习的概念

深度学习（英语：deep learning）是机器学习的分支，是一种以人工神经网络为架构，对数据进行特征学习的算法。

2. 机器学习和深度学习的区别

区别1 ：特征提取

从特征提取的角度出发：

1. 机器学习需要有人工的特征提取的过程

2. 深度学习没有复杂的人工特征提取的过程，特征提取的过程可以通过深度神经网络自动完成

区别2：数据量

从数据量的角度出发：

1. 深度学习需要大量的训练数据集，会有更高的效果
2. 深度学习训练深度神经网络需要大量的算力，因为其中有更多的参数

3. 深度学习的应用场景

1. 图像识别

   1. 物体识别
   2. 场景识别
   3. 人脸检测跟踪
   4. 人脸身份认证

2. 自然语言处理技术

   1. 机器翻译
   2. 文本识别
   3. 聊天对话

3. 语音技术

   1. 语音识别

4. 常见的深度学习框架

目前企业中常见的深度学习框架有很多，TensorFlow, Caffe2, Keras, Theano, PyTorch, Chainer, DyNet, MXNet, and CNTK等等

其中tensorflow和Kears是google出品的，使用者很多，但是其语法晦涩而且和python的语法不尽相同，对于入门玩家而言上手难度较高。

所以在之后的课程中我们会使用facebook出的PyTorch，PyTorch的使用和python的语法相同，整个操作类似Numpy的操作，并且 PyTorch使用的是动态计算，会让代码的调试变的更加简单

---

第8节 神经网络的介绍

1. 人工神经网络的概念

人工神经网络（英语：Artificial Neural Network，ANN），简称神经网络（Neural Network，NN）或类神经网络，是一种模仿生物神经网络（动物的中枢神经系统，特别是大脑）的结构和功能的数学模型，用于对函数进行估计或近似。

和其他机器学习方法一样，神经网络已经被用于解决各种各样的问题，例如机器视觉和语音识别。这些问题都是很难被传统基于规则的编程所解决的。

2. 神经元的概念

在生物神经网络中，每个神经元与其他神经元相连，当它“兴奋”时，就会向相连的神经元发送化学物质，从而改变这些神经元内的电位；如果某神经元的电位超过了一个“阈值”，那么它就会被激活，即“兴奋”起来，向其他神经元发送化学物质。

1943 年，McCulloch 和 Pitts 将上述情形抽象为上图所示的简单模型，这就是一直沿用至今的 M-P 神经元模型。把许多这样的神经元按一定的层次结构连接起来，就得到了神经网络。

一个简单的神经元如下图所示，

其中：

1. a_1,a_2\dots a_na1​,a2​…an​ 为各个输入的分量
2. w_1,w_2 \cdots w_nw1​,w2​⋯wn​ 为各个输入分量对应的权重参数
3. bb 为偏置
4. ff 为激活函数，常见的激活函数有tanh，sigmoid，relu
5. tt 为神经元的输出

使用数学公式表示就是：

t = f(W^TA+b)t=f(WTA+b)

可见，一个神经元的功能是求得输入向量与权向量的内积后，经一个非线性传递函数得到一个标量结果。

3. 单层神经网络

是最基本的神经元网络形式，由有限个神经元构成，所有神经元的输入向量都是同一个向量。由于每一个神经元都会产生一个标量结果，所以单层神经元的输出是一个向量，向量的维数等于神经元的数目。

示意图如下：

4. 感知机

感知机由两层神经网络组成，输入层接收外界输入信号后传递给输出层（输出+1正例，-1反例），输出层是 M-P 神经元

其中从w_0,w_1\cdots w_nw0​,w1​⋯wn​都表示权重

感知机的作用：

把一个n维向量空间用一个超平面分割成两部分，给定一个输入向量，超平面可以判断出这个向量位于超平面的哪一边，得到输入时正类或者是反类，对应到2维空间就是一条直线把一个平面分为两个部分。

5. 多层神经网络

多层神经网络就是由单层神经网络进行叠加之后得到的，所以就形成了层的概念，常见的多层神经网络有如下结构：

• 输入层（Input layer），众多神经元（Neuron）接受大量输入消息。输入的消息称为输入向量。
• 输出层（Output layer），消息在神经元链接中传输、分析、权衡，形成输出结果。输出的消息称为输出向量。
• 隐藏层（Hidden layer），简称“隐层”，是输入层和输出层之间众多神经元和链接组成的各个层面。隐层可以有一层或多层。隐层的节点（神经元）数目不定，但数目越多神经网络的非线性越显著，从而神经网络的强健性（robustness）更显著。

示意图如下：

概念：全连接层

全连接层：当前一层和前一层每个神经元相互链接，我们称当前这一层为全连接层。

思考：假设第N-1层有m个神经元，第N层有n个神经元，当第N层是全连接层的时候，则N-1和N层之间有1，这些参数可以如何表示？

从上图可以看出，所谓的全连接层就是在前一层的输出的基础上进行一次Y=Wx+bY=Wx+b的变化(不考虑激活函数的情况下就是一次线性变化，所谓线性变化就是平移(+b)和缩放的组合(*w))

6. 激活函数

在前面的神经元的介绍过程中我们提到了激活函数，那么他到底是干什么的呢？

假设我们有这样一组数据，三角形和四边形，需要把他们分为两类

通过不带激活函数的感知机模型我们可以划出一条线, 把平面分割开

假设我们确定了参数w和b之后，那么带入需要预测的数据，如果y>0,我们认为这个点在直线的右边，也就是正类（三角形），否则是在左边（四边形）

但是可以看出，三角形和四边形是没有办法通过直线分开的，那么这个时候该怎么办？

可以考虑使用多层神经网络来进行尝试，比如在前面的感知机模型中再增加一层

对上图中的等式进行合并，我们可以得到：

y = (w_{1-11}w_{2-1}+\cdots)x_1+(w_{1-21}w_{2-1}+\cdots)x_2 + (w_{2-1}+\cdots)b_{1-1}y=(w1−11​w2−1​+⋯)x1​+(w1−21​w2−1​+⋯)x2​+(w2−1​+⋯)b1−1​

上式括号中的都为w参数，和公式y = w_1x_1 + w_2x_2 +by=w1​x1​+w2​x2​+b完全相同，依然只能够绘制出直线

所以可以发现，即使是多层神经网络，相比于前面的感知机，没有任何的改进。

但是如果此时，我们在前面感知机的基础上加上非线性的激活函数之后，输出的结果就不在是一条直线

如上图，右边是sigmoid函数，对感知机的结果，通过sigmoid函数进行处理

如果给定合适的参数w和b，就可以得到合适的曲线，能够完成对最开始问题的非线性分割

所以激活函数很重要的一个作用就是增加模型的非线性分割能力

常见的激活函数有：

看图可知：

• sigmoid 只会输出正数，以及靠近0的输出变化率最大
• tanh和sigmoid不同的是，tanh输出可以是负数
• Relu是输入只能大于0,如果你输入含有负数，Relu就不适合，如果你的输入是图片格式，Relu就挺常用的，因为图片的像素值作为输入时取值为[0,255]。

激活函数的作用除了前面说的增加模型的非线性分割能力外，还有

• 提高模型鲁棒性
• 缓解梯度消失问题
• 加速模型收敛等

这些好处，大家后续会慢慢体会到，这里先知道就行

7. 神经网络示例

一个男孩想要找一个女朋友，于是实现了一个女友判定机，随着年龄的增长，他的判定机也一直在变化

14岁的时候：

无数次碰壁之后，男孩意识到追到女孩的可能性和颜值一样重要，于是修改了判定机：

在15岁的时候终于找到呢女朋友，但是一顿时间后他发现有各种难以忍受的习惯，最终决定分手。一段空窗期中，他发现找女朋友很复杂，需要更多的条件才能够帮助他找到女朋友，于是在25岁的时候，他再次修改了判定机：

在更新了女友判定机之后，问题又来了，很多指标不能够很好的量化，如何颜值，什么样的叫做颜值高，什么样的叫做性格好等等，为了解决这个问题，他又更新了判定机，最终得到超级女友判定机

上述的超级女友判定机其实就是神经网络，它能够接受基础的输入，通过隐藏层的线性的和非线性的变化最终的到输出

通过上面例子，希望大家能够理解深度学习的思想：

输出的最原始、最基本的数据，通过模型来进行特征工程，进行更加高级特征的学习，然后通过传入的数据来确定合适的参数，让模型去更好的拟合数据。

这个过程可以理解为盲人摸象，多个人一起摸，把摸到的结果乘上合适的权重，进行合适的变化，让他和目标值趋近一致。整个过程只需要输入基础的数据，程序自动寻找合适的参数。