深度学习

1. 深度学习介绍

深度学习（Deep learning）是机器学习的一个分支领域,其源于人工
神经网络的研究。
深度学习广泛应用在计算机视觉,音频处理,自然语言处理等诸多领
域。

人工神经网络（Artificial Neural Network），以数学模型模拟神经
元活动，是基于模仿大脑神经网络结构和功能而建立的一种信息处理系
统。

生物神经细胞结构

感知器模型

2. 深度学习原理

前向传播（Forward Propagation），从输入经过一层层隐层计算得
到输出的过程，也就是加权求和，然后经过一个激活函数。

反向传播（Backward Propagation）则是与前向传播的计算方向相
反，它是计算输出值与真实值之间的误差，通过网络反向流动来计算每
一层参数的梯度（偏导数），来更新训练参数。

1）常用激活函数
1、Sigmoid函数

导数

2、tanh函数

导数

3、Relu函数

导数

4、Leaky Relu函数

导数

2）常用损失函数
1、均方差损失函数

2、交叉熵损失函数

（3）常用优化函数
1、SGD：随机梯度下降优化器

2、Momentum：带动量的随机梯度下降

3、Nesterov Accelerated Gradient：牛顿加速梯度下降

4、Adagrad（Adaptive gradient）:自适应梯度下降
5、Adadelta

6、RMSprop

6、Adam：Adaptive Moment Estimation

3. 深度学习实现

深度学习网络实现回归
深度学习网络实现分类