BP神经网络

$BP$神经网络

1.激活函数

​ 激活函数（Activation Function）是在人工神经网络的神经元上运行的函数，负责将神经元的输入映射到输出端。激活函数对于人工神经网络模型去学习、理解复杂的非线性函数，具有十分重要的作用。

​ 如果不使用激活函数，每一层输出都是上一层输入的线性运算，无论神经网络有多少层，最终的输出只是输入的线性组合，相当于感知机。如果使用了激活函数，将非线性因素引入到网络中，使得神经网络可以任意逼近任何非线性函数，能够应用到更多的非线性模型。

常用的激活函数

$sigmoid$ 函数

​ $Sigmoid$函数是一个在生物学中常见的S型函数，也称为S型生长曲线。在信息科学中，由于其单增以及反函数单增等性质，Sigmoid函数常被用作神经网络的阈值函数，将变量映射到0,1之间，公式如下：
$$f(x)=\frac{1}{1+e^{(-x)}}$$

$ReLU$函数

​ $Relu$激活函数（The Rectified Linear Unit），用于隐藏层的神经元输出。公式如下：
$$f(x)=max(0,x)$$

$Tanh$ 函数

​ $Tanh$ 是双曲函数中的一个，$Tanh()$ 为双曲正切。在数学中，双曲正切“$Tanh$”是由基本双曲函数双曲正弦和双曲余弦推导而来。公式如下：
$$f(x)=\frac{e^x-e^{-x}}{e^x+e^{-x}}$$
$softmax$ 函数

​ $softmax$ 函数用于输出层。假设输出层共有 $n$ 个神经元，计算第 $k$ 个神经元的输出 $y_k$。$softmax$ 函数的分子是输入信号 $a_k$ 的指数函数，分母是所有输入信号的指数函数的和。$softmax$ 函数公式如下：
$$y_k=\frac{e^{a_k}}{{\sum }_{i=1}^n{e}^{a_i}}$$

2.神经网络结构

​ 第0层是输入层（2个神经元），第1层是隐含层（3个神经元），第2层是隐含层（2个神经元），第3层是输出层。

符号约定

​ $w_{jk}^{[l]}$表示从网络第$(l-1{)}^{th}$ 层第$k^{th}$ 个神经元指向第 $l^{th}$ 层第 $j^{th}$ 个神经元的连接权重，同时也是第 $l$ 层权重矩阵第 $j$ 行第 $k$ 列的元素。例如，上图中 $w_{21}^{[1]}$ ，第0层第1个神经元指向第1层第2个神经元的权重（褐色），也就是第 1 层权重矩阵第 2 行第 1 列的元素。同理，使用 $b_j^{[l]}$ 表示第 $l^{th}$ 层第 $j^{th}$ 个神经元的偏置 ，同时也是第 $l$ 层偏置向量的第 $j$ 个元素。使用 $z_j^{[l]}$ 表示第 $l^{th}$ 层第 $j^{th}$ 个神经元的线性结果，使用 $a_j^{[l]}$ 来表示第 $l^{th}$ 层第 $j^{th}$ 个神经元的激活函数输出。其中，激活函数使用符号σ表示，第 $l^{th}$ 层中第 $j^{th}$ 个神经元的激活为:

$$a_j^{[l]}=\sigma (z_j^{[l]})=\sigma \left(\sum _k{w}_{jk}^{[l]}{a}_k^{[l-1]}+b_j^{[l]}\right)$$
$w^{[l]}$ 表示第 $l$ 层的权重矩阵，$b^{[l]}$ 表示第 $l$ 层的偏置向量，$a^{[l]}$ 表示第 $l$ 层的神经元向量，结合上图讲述：

w [ 1 ] = [ w 11 [ 1 ] w 12 [ 1 ] w 21 [ 1 ] w 22 [ 1 ] w 31 [ 1 ] w 32 [ 1 ] ] w^{[1]}=\left[

\right] w[1]= ​w11[1]​w21[1]​w31[1]​​w12[1]​w22[1]​w32[1]​​​ ​ w [ 2 ] = [ w 11 [ 2 ] w 12 [ 2 ] w 13 [ 2 ] w 21 [ 2 ] w 22 [ 2 ] w 23 [ 2 ] ] w^{[2]}=\left[

w11[2]w12[2]w13[2]w21[2]w22[2]w23[2]" role="presentation" style="position: relative;">w[2]11w[2]21w[2]12w[2]22w[2]13w[2]23$$\begin{array}{lll}{w}_{11}^{[2]}& w_{12}^{[2]}& w_{13}^{[2]}\\ w_{21}^{[2]}& w_{22}^{[2]}& w_{23}^{[2]}\end{array}$$

\right] w[2]=[w11[2]​w21[2]​​w12[2]​w22[2]​​w13[2]​w23[2]​​]

b [ 1 ] = [ b 1 [ 1 ] b 2 [ 1 ] b 3 [ 1 ] ] b^{[1]}=\left[

\right] b[1]= ​b1[1]​b2[1]​b3[1]​​ ​ b [ 2 ] = [ b 1 [ 2 ] b 2 [ 2 ] ] b^{[2]}=\left[

b1[2]b2[2]" role="presentation" style="position: relative;">b[2]1b[2]2$$\begin{array}{l}{b}_1^{[2]}\\ b_2^{[2]}\end{array}$$

\right] b[2]=[b1[2]​b2[2]​​]

进行线性矩阵运算。

z [ 1 ] = [ w 11 [ 1 ] w 12 [ 1 ] w 21 [ 1 ] w 22 [ 1 ] w 31 [ 1 ] w 32 [ 1 ] ] ⋅ [ a 1 [ 0 ] a 2 [ 0 ] ] + [ b 1 [ 1 ] b 2 [ 1 ] b 3 [ 1 ] ] = [ w 11 [ 1 ] a 1 [ 0 ] + w 12 [ 1 ] a 2 [ 0 ] + b 1 [ 1 ] w 21 [ 1 ] a 1 [ 0 ] + w 22 [ 1 ] a 2 [ 0 ] + b 2 [ 1 ] w 31 [ 1 ] a 1 [ 0 ] + w 32 [ 1 ] a 2 [ 0 ] + b 3 [ 1 ] ] z^{[1]}=\left[

\right] \cdot\left[\right]+\left[\right]=\left[\right] z[1]= ​w11[1]​w21[1]​w31[1]​​w12[1]​w22[1]​w32[1]​​​ ​⋅[a1[0]​a2[0]​​]+ ​b1[1]​b2[1]​b3[1]​​ ​= ​w11[1]​a1[0]​+w12[1]​a2[0]​+b1[1]​w21[1]​a1[0]​+w22[1]​a2[0]​+b2[1]​w31[1]​a1[0]​+w32[1]​a2[0]​+b3[1]​​ ​

矩阵形状 (3,2) (2,1) (3,1) (3,1)

z [ 2 ] = [ w 11 [ 2 ] w 12 [ 2 ] w 13 [ 2 ] w 21 [ 2 ] w 22 [ 2 ] w 23 [ 2 ] ] ⋅ [ a 1 [ 1 ] a 2 [ 1 ] a 3 [ 1 ] ] + [ b 1 [ 2 ] b 2 [ 2 ] ] = [ w 11 [ 2 ] a 1 [ 1 ] + w 12 [ 2 ] a 2 [ 1 ] + w 13 [ 2 ] a 3 [ 1 ] + b 1 [ 2 ] w 21 [ 2 ] a 1 [ 1 ] + w 22 [ 2 ] a 2 [ 1 ] + w 23 [ 2 ] a 3 [ 1 ] + b 2 [ 2 ] ] z^{[2]}=\left[

\right] \cdot\left[\right]+\left[\right]=\left[\right] z[2]=[w