浙江大学机器学习（胡浩基）学习笔记二：人工神经网络、深度学习

一、人工神经网络

1.1 概念

仿生学：
人工智能模拟的是人类大脑对世界的认识。研究大脑认知机理，总结大脑处理信息的方式是实现人工智能的先决条件。
数理学派：
在现在及可预见的未来，人类无法完全了解人脑的认知机理，计算机与人脑具有完全不同的物理属性与体系结构。
片面强调计算机对人脑的模仿，不可能也不必须。

神经元的数学模型：

1.2 感知器算法

感知器算法（perception algorithm）：

总结：感知器算法就是不断输入数据，重复第二步，然后找到w、b使所有训练样本都达到平衡状态。

证明算法可以终止：



定理：

条件：存在一个权重向量ωopt使得ωopt^T*xi>0

过拟合overfit：预测函数复杂度高于训练数据复杂度。

1.3 多层神经网络

单层人工神经网络无法解决线性不可分问题，所以需要多层神经网络。

定理：如果层与层之间的非线性函数是阶跃函数，则三层神经网络可以模拟任何决策面。

设计网络的准则：
如果问题简单，则神经网络层数与每层神经元个数可以少一些，如果问题复杂，则神经元个数与神经网络层数可以多一些。
网络模型的复杂度要和训练样本的复杂度相匹配。

1.4 梯度下降法

Gradient Descent Method，求解局部最小值。
步骤：

1. 随机选取ω和b的初始值（ω0 b0）；
2. 用迭代算法求目标函数的极值；
   
   求梯度(切向)，沿负方向移动一点，判断大小，直至走到最小值处。
   
   
   上述基于一维情况，如果多维就可以进行泰勒展开。

1.5 后向传播算法

Back Propagation Algorithm：
它们的参数是互相关联的，可以利用神经网络结构来简化求偏导的计算，用已经计算出的偏导数链式求导法则求出未求出的偏导数。
它从输出往输入推，先计算离输出较近的偏导数，再计算离输出较远的偏导数。

二、深度学习

2.1 卷积神经网络CNN

Convolutional Neural Networks：




把相邻四个数值取平均

2.2 自编码器

自编码器：Auto-Encoder，是一种无监督式学习模型。它基于反向传播算法与最优化方法（如梯度下降法），利用输入数据 X本身作为监督，来指导神经网络尝试学习一个映射关系，从而得到一个重构输出Xr。
编码器的作用是把高维输入X编码成低维的隐变量h从而强迫神经网络学习最有信息量的特征；

2.3