李立宗《讲给入门者的深度学习》

14天学习训练营导师课程： 李立宗《讲给入门者的深度学习》

一、什么是深度学习？

1、传统方法、机器学习、深度学习的区别？

以取暖为例，来说明三者的不同之处。

传统方法：通过火炉生火，需要生火、添柴、通风等，过程复杂。

机器学习：空调，设置温度、湿度等参数值。
根据数据提取特征。

深度学习：智能空调，设置“清爽”、“温暖’”等模式。
对特征进行学习，从中找到有用的特征。
深度学习是一种端到端的机器学习，通过神经网络学习数据的特征，得到最终的答案。

二、深度学习基本原理

神经网络的基本架构： 输入层、中间层（也叫隐藏层）、输出层。

对于上图神经网络结构的层数，我们可以称有两层（只有两层权重值（输入层到中间层的权重、中间层到输出层的权重））；也可以说有三层（即有3层神经元构成）。

之所以名为深度学习是因为：
1、神经网络的层数多；
2、学习深层次的知识。

深度学习强大的原因：
1、不需要手动提取特征；
2、可以处理线性不可分问题。

多数情况下神经网络的结构:

神经网络每层的主要作用：

第1层：提取最简单基础的特征，例如：点、线、纹理、边缘等几何特征；
第2层：简单特征的组合特征，例如：曲线、轮廓等；
第3层：相对高级的一些特征，例如：眼睛、鼻子、嘴巴等；
第4层：语义特征。

高级特征通过大量计算，从低级特征中提取出来。

随着训练次数不断增多，提取的特征越来越清晰。
神经网络层数不断加深，数据要一遍一遍处理。

深度学习能够拟合任何连续函数。

三、工作原理

以培育水稻为例，影响水稻生长的因素包括：施肥量、灌溉量、施肥时间、插秧密度等。
我们可以通过寻找到影响生长的参数的最优值，并调整最优参数，实现水稻的高产。

那么我们如何来构造一个系统呢？
首先先设定一个基本参数，让系统运行起来（例如设置施肥量、灌溉量等的初始值）；
观察结果如何，然后不断的修改参数（重复这个过程）；
达到目标（最优结果），保留参数；
系统可以不断的复用。

反向传播：
1、网络初始化（随机初始化参数值）
2、前向反馈（网络试运行）
3、误差评估（评估结果满意度）
4、根据第3步的值调整参数
5、重复第3步、第4步

神经网络工作的核心：
初始的参数值是随机的；
后续参数值的调整是非常科学的（严格的数学公式保证向着最优参数逼近）；
如何进行参数的调整，至关重要。

参数的重要性：

假设要进行阅兵，需要选拔一批选手，他们的身高要接近180，体重接近70公斤。
该如何进行选拔？

根据选拔函数，我们可以看到对于身高、体重的权重设置很关键。

学习分类：有监督（数据+标签）、无监督（只有数据，无标签）：

图像识别：
9
待识别的图像的特征与特征数据库中图中的特征进行比对（计算欧氏距离），来选择距离小的那个图像的标签，即为待识别图像的标签。

流程图：

要解决的问题：特征提取 特征比对

无监督学习：只有数据，没有标签。

通过特征学习，将这些图像分为两类。

下面以6粒豆子分两类为例，来讲述无监督学习的整个过程：

第1步：选取A B两个豆子作为参考豆子（注意随机选取）

第2步：计算剩余豆子的直径与豆子A B之间的距离。
根据计算结果，进行分组：

第3步：分别计算上述两组豆子的直径平均值，然后，将各个豆子按照与直径平均值的距离大小划分分组。

分组如下：

第4步：重复第3步，直到分组稳定不再发生变化，认为分组完成。

分组结果：

与上一次分组结果一致，结束分组。

k均值聚类算法：
1、随机选取k个点作为分类的中心点；
2、将每个数据点放入到距离它最近的类别中心点所在类中（使用距离公式）；
3、重新计算各个分类数据点的平均值，将该平均值作为新的类中心点；
重复步骤2和3，直到分类稳定。

四、 损失函数

损失函数本质上就是实际值与测试值之间的差值，在实际应用中越小越好。