深度学习的数学原理与实现 笔记一

一、从计算机视觉与人类视觉谈起

二、道士下山

2.1 历史

核心：BP神经网络

2.2 BP神经网络的两个基础算法

最小二乘法和梯度下降法（最快下山方法：每个停顿点走最陡峭的下山路 ）
梯度下降法：不停对系数求偏导数求出最优解

2.3 反馈神经网络反向传播算法

反向传播算法是复合函数链式求导法则的强大应用

深度学习基础：

机器学习在理论上可以看做是统计学在计算机科学上的一个应用。数学上通过建立复杂得告辞对原函数解决复杂模型的你和问题，大多数会失败，无法求解，但是神经网络可以表示这样的一一对应关系

链式求导法则：

梯度下降算法是连式法则的一个具体应用

求出每个向量的偏导数之和。

反馈神经网络原理与公示推导

重复计算会产生冗余

。。。

激活函数：

生物神经元通过电信号进行传递，电信号大于阈值才会激活。以前常用sigmoid作为神经网络激活函数，但是输入很大或很小会产生梯度消失现象，现在用Relu,tanh等作为梯度函数