深度学习 神经网络（2）前向传播

一、前言

前面介绍了《感知器》，类似于单个神经元细胞，现在我们用多个感知器组合成更加复杂的神经网络。本文介绍了多层神经网络通过前向传播方法，逐层计算出最终结果值的过程。

二、神经网络结构

如上图所示（亲绘 ^ _ ^），展示了两层神经网络，有n+1个输入，2个输出，包含1个隐藏层。
其他N层的神经网络以此类推就行。

输入 x = [ x 0 x 1 ⋮ x n ] x=

x=⎣ ⎡​x0​x1​⋮xn​​⎦ ⎤​

第1层权重 w ( 1 ) = [ w 00 ( 1 ) w 01 ( 1 ) w 02 ( 1 ) . . . w 0 n ( 1 ) w 11 ( 1 ) w 11 ( 1 ) w 12 ( 1 ) . . . w 1 n ( 1 ) . . . . . . . . . . . . . . . w k 1 ( 1 ) w k 1 ( 1 ) w k 2 ( 1 ) . . . w k n ( 1 ) ] w^{(1)}=

w(1)=⎣ ⎡​w00(1)​w11(1)​...wk1(1)​​w01(1)​w11(1)​...wk1(1)​​w02(1)​w12(1)​...wk2(1)​​............​w0n(1)​w1n(1)​...wkn(1)​​⎦ ⎤​

第1层输出 a ( 1 ) = f 1 ( w ( 1 ) x ) = [ a 0 ( 1 ) a 1 ( 1 ) ⋮ a k ( 1 ) ] a^{(1)}=f_1(w^{(1)}x)=

a(1)=f1​(w(1)x)=⎣ ⎡​a0(1)​a1(1)​⋮ak(1)​​⎦ ⎤​
其中$f_1$是第1层的激活函数。

第2层权重 w ( 2 ) = [ w 00 ( 2 ) w 01 ( 2 ) w 02 ( 2 ) . . . w 0 k ( 2 ) w 11 ( 2 ) w 11 ( 2 ) w 12 ( 2 ) . . . w 1 k ( 2 ) ] w^{(2)}=

w(2)=[w00(2)​w11(2)​​w01(2)​w11(2)​​w02(2)​w12(2)​​......​w0k(2)​w1k(2)​​]

第2层输出 a ( 2 ) = f 2 ( w ( 2 ) a ( 1 ) ) = f 2 ( w ( 2 ) ( f 1 ( w ( 1 ) x ) ) ) = f 2 ( [ w 00 ( 2 ) w 01 ( 2 ) w 02 ( 2 ) . . . w 0 k ( 2 ) w 11 ( 2 ) w 11 ( 2 ) w 12 ( 2 ) . . . w 1 k ( 2 ) ] [ a 0 ( 1 ) a 1 ( 1 ) ⋮ a k ( 1 ) ] ) = [ a 0 ( 2 ) a 1 ( 2 ) ] a^{(2)}=f_2(w^{(2)}a^{(1)})=f_2\big(w^{(2)}(f_1(w^{(1)}x))\big)=f_2\bigg(

\bigg)= a(2)=f2​(w(2)a(1))=f2​(w(2)(f1​(w(1)x)))=f2​([w00(2)​w11(2)​​w01(2)​w11(2)​​w02(2)​w12(2)​​......​w0k(2)​w1k(2)​​]⎣ ⎡​a0(1)​a1(1)​⋮ak(1)​​⎦ ⎤​)=[a0(2)​a1(2)​​]
其中$f_2$是第2层的激活函数。

三、前向传播

以此类推，那么在第 $l$ 层
$$a^{(l)}=f_l(w^{(l)}{a}^{(l-1)})$$

以$x\underset{f_1}{\overset{w^{(1)}}{\to }}{a}^{(1)}\underset{f_2}{\overset{w^{(2)}}{\to }}\cdots \underset{f_l}{\overset{w^{(l)}}{\to }}{a}^{(l)}$的形式，神经网络通过逐层的信息传递，最终得到网络的输出$a^{(l)}$，这叫前馈神经网络的前向传播。

四、参考资料

神经网络与深度学习-邱锡鹏
《深度学习入门：基于Python的理论与实现》