深度学习-神经网络原理2

神经网络的原理

对于一个神经网络我们可以分为输入层，隐藏层，输出层，对于神经网络的训练可以分为正向传播和反向传播。这里对神经网络不同层次的数据表示进行约定。这里我们以一个二层的神经网络模型进行演示。
在这里我们将A0定义为输入层数据，将A1定义为隐藏层数据，最后的A2定义为输出层数据。这A0时输入的矩阵通常为（m，n）m为特征个数，n为样本个数。对于L层，AL层为a个元素，L-1层有b
个,这里我们就可以直到WL为形状（a，b）的矩阵，bL为（1，b)的矩阵，输入的AL-1为（b，n)的矩阵，得到ZL和AL为（a,n)的矩阵。

向前传播

向前传播比较简单，主要就是和上面图片一样，每一层可以看作一个单独的逻辑回归，只不过一层的激活函数可能不同，通常使用的是Relu或者tanh函数作为激活函数。

$$\begin{array}{}\text{(1)}& Relu(x)=\{\begin{array}{l}0,x\le 0\\ x,x>0\end{array}\end{array}$$

$$tanh(x)=\frac{e^x-e^{-x}}{e^x+e^{-x}}$$

具体的计算过程如下：

$$Z^{[i]}=W^{[i]}{A}^{[i-1]}+b^{[i]}$$

$$A^{[i]}=\sigma (Z^{[i]})$$

$$Z^{[i+1]}=W^{[i+1]}{A}^{[i]}+b^{[i+1]}$$

$$A^{[i+1]}=\sigma (Z^{[i+!]})$$

反向传播

反向传播的本质是依据链式发展对每一层都求出w和b的偏导数，只用进行一个变量修改，实现对代价函数的一个求极值过程。假设该神经网络有L层，最后一层的激活函数为：

$$A^{[L]}=sigmod(z)=\frac{1}{1+e^{-z}}$$

对于代价函数可以求得为：

$$J(W,b)=-\frac{1}{m}\sum _1^m[y^{i}log(A^{Li})+(1-y)log(1-A^{Li})]$$

所以对于最后一层我们可以计算得到：

$$\frac{dJ}{d{A}^L}=-\frac{1}{m}[\frac{Y}{A^L}--\frac{1-Y}{1-A^L}]$$

这里计算的是矩阵除法，得到的对应的一个矩阵。
之后计算关于的一个方向倒数，假设激活函数为σ(z)

$$\frac{dJ}{d{Z}^L}=\frac{dJ}{d{A}^L}{\sigma }^{‘}({\sigma }^{‘}\mathrm{是}\mathrm{激}\mathrm{活}\mathrm{函}\mathrm{数}z\mathrm{点}\mathrm{的}\mathrm{导}\mathrm{数}\mathrm{值})$$

$\mathrm{已}\mathrm{知}{Z}^L=W^L{A}^{[L-1]}+b$所以可以依据链式法则求出$\frac{dJ}{d{W}^L}$和$\frac{dJ}{d{b}^L}$：

$$\frac{dJ}{d{W}^L}=\frac{dJ}{d{Z}^L}·\frac{d{Z}^L}{d{W}^L}=\frac{dJ}{d{Z}^L}·A^{L-1}$$

$$\frac{dJ}{d{b}^L}=\frac{dJ}{d{Z}^L}$$

依据链式法则还可以求出：

$$\frac{dJ}{d{A}^{L-1}}=\frac{dJ}{d{Z}^L}·W^L$$

之后进行循环，获取每一层对应的w和b的梯度，用于进行一个数据的更新。
对于反向传播的具体流程大致就是上面公式所示，具体可以能符号有些错误但思想是这样的。