深入浅出理解机器学习算法—神经网络（前向传播）

一、神经网络表述

我们之前学的，无论是线性回归还是逻辑回归都有这样一个缺点，即：当特征太多时，计算的负荷会非常大。

那特征能有多大呢？下面是一个计算机视觉中的例子：

如上图所示，如果选取一小块$50\ast 50$像素的灰度图片（一个像素只有亮度一个值），选择每个像素点作为特征，则特征总量$n=2500$，换算成RGB，一个像素有三个值，则$n=7500$，如果将其两两组合成新特征，则特征数量为$C_{2500}^2=\frac{2500!}{2}\approx 3millon$。

普通的逻辑回归模型，不能有效的处理这么多的特征，所以需要神经网络算法。

二、模型表示1

先看一下大脑的神经元长什么样：

想象一下印刷厂中流水线的工人，每个工人都有特定的任务，比如装订，塑封，贴防伪标识等等，工人们看到书本并处理完自己的任务后，就回放回传送带，紧接着传送带就传给下一个环节的工人，如此不断重复从而完成一个又一个环节，直到一本书印制完成。

那么类比一下，把上图中的细胞核类比成工人，轴突类比传送带，树突则比类比成工人的双眼。一个又一个细胞体，从树突接收需要处理的信息，对其进行处理后，再经由轴突通过电信号把处理完的信息传递出去，直到理解信息的内容。

人工神经网络中，树突对应输入(input)，细胞核对应激活单元(activation unit)，轴突对应输出(output)。

我们一般把神经网络划分为三部分（注意，不是只有三层！），即输入层(input layer)，隐藏层(hidden layer)和输出层(output layer)。

具体如下图所示：

图中的一个圈表示神经网络中的一个激活单元，输入层对应输入单元，隐藏层对应中间单元，输出层则对应输出单元。

中间激活单元应用激活函数(activation_function)处理数据。

下面列出一些已有概念在神经网络中的别称：

1. $x_0$：偏置单元，$x_0=1$；
2. $\Theta$：权重，即参数；
3. 激活函数：$g$，即逻辑函数等；
4. 输入层: 对应于训练集中的特征$x$；
5. 输出层: 对应于训练集中的结果$y$；
6. $a_i^{(j)}$：第$j$层第$i$个激活单元；
7. ${\Theta }^{(j)}$：从第$j$层映射到第$j+1$层时的权重矩阵；
8. ${\Theta }_{v,\mu }^{(j)}$：从第$j$层的第$\mu$个单元映射到第$j+1$层的第$v$个单元的权重;
9. $s_j$：第$j$层的激活单元数目（不包含偏置单元）。

每个单元会作用于下一层的所有单元（矩阵乘法运算）。

如果第$j$层有$s_j$个单元，第$j+1$层有$s_{j+1}$个单元， 则${\Theta }_j$是一个$s_{j+1}\ast (s_j+1)$维的权重矩阵。即每一层的权重矩阵大小都是非固定的。

其中，$+1$来自于偏置单元，这样意味着输出层不包含偏置单元，输入层和隐藏层需要添加偏置单元。

依据本节所给模型，有：

$size({\Theta }^{(1)})=s_{j+1}\ast (s_j+1)=s_2\ast (s_1+1)=3\times 4$

$size({\Theta }^{(2)}=s_{j+1}\ast (s_j+1)=s_3\ast (s_2+1)=1\times 4$

三、模型表示2

对输入层的所有激活单元应用激活函数，从而得到隐藏层中激活单元的值：
$$a_1^{(2)}=g({\Theta }_{10}^{(1)}{x}_0+{\Theta }_{11}^{(1)}{x}_1+{\Theta }_{12}^{(1)}{x}_2+{\Theta }_{13}^{(1)}{x}_3)$$
$$a_2^{(2)}=g({\Theta }_{20}^{(1)}{x}_0+{\Theta }_{21}^{(1)}{x}_1+{\Theta }_{22}^{(1)}{x}_2+{\Theta }_{23}^{(1)}{x}_3)$$
$$a_3^{(2)}=g({\Theta }_{30}^{(1)}{x}_0+{\Theta }_{31}^{(1)}{x}_1+{\Theta }_{32}^{(1)}{x}_2+{\Theta }_{33}^{(1)}{x}_3)$$
对 Layer 2中的所有激活单元应用激活函数，从而得到输出：
$$h_{\Theta }(x)=g({\Theta }_{10}^{(2)}{a}_0^{(2)}+{\Theta }_{11}^{(2)}{a}_1^{(2)}+{\Theta }_{12}^{(2)}{a}_2^{(2)}+{\Theta }_{13}^{(2)}{a}_3^{(2)})$$
上面的计算过程被称为前向传播(Forward propagation)，即从输入层开始，一层一层地向下计算并传递结果。

再回顾一下逻辑回归：
$$h_{\theta }(x)=g({\theta }_0+{\theta }_1{x}_1+{\theta }_2{x}_2+{\theta }_3{x}_3)$$
是不是除了符号表示，其他都完全一样？

其实神经网络就好似回归模型，只不过输入变成了中间单元$a_1^{(j)},a_2^{(j)},\cdots ,a_n^{(j)}$。从输入$x$开始，下一层的每个激活单元都包含了上一层的所有信息（单元值），通过最优化算法不断迭代计算，激活单元能得出关于输入$x$的更多信息，这就好像是在给假设函数加多项式。隐藏层的这些单元好似升级版的初始特征，从而能给出更好的预测。

向量化实现

a ( 1 ) = x = { x 0 x 1 x 2 x 3 } a^{(1)}=x=\left\{

\right\} a(1)=x=⎩ ⎨ ⎧​x0​x1​x2​x3​​⎭ ⎬ ⎫​
Θ ( 1 ) = { Θ 10 ( 1 ) Θ 11 ( 1 ) Θ 12 ( 1 ) Θ 13 ( 1 ) Θ 20 ( 1 ) Θ 21 ( 1 ) Θ 22 ( 1 ) Θ 23 ( 1 ) Θ 30 ( 1 ) Θ 31 ( 1 ) Θ 32 ( 1 ) Θ 33 ( 1 ) } \Theta^{(1)}=\left\{

Θ10(1)Θ11(1)Θ12(1)Θ13(1)Θ20(1)Θ21(1)Θ22(1)Θ23(1)Θ30(1)Θ31(1)Θ32(1)Θ33(1)" role="presentation" style="position: relative;">Θ(1)10Θ(1)20Θ(1)30Θ(1)11Θ(1)21Θ(1)31Θ(1)12Θ(1)22Θ(1)32Θ(1)13Θ(1)23Θ(1)33$$\begin{array}{cccc}{\mathrm{\Theta }}_{10}^{(1)}& {\mathrm{\Theta }}_{11}^{(1)}& {\mathrm{\Theta }}_{12}^{(1)}& {\mathrm{\Theta }}_{13}^{(1)}\\ {\mathrm{\Theta }}_{20}^{(1)}& {\mathrm{\Theta }}_{21}^{(1)}& {\mathrm{\Theta }}_{22}^{(1)}& {\mathrm{\Theta }}_{23}^{(1)}\\ {\mathrm{\Theta }}_{30}^{(1)}& {\mathrm{\Theta }}_{31}^{(1)}& {\mathrm{\Theta }}_{32}^{(1)}& {\mathrm{\Theta }}_{33}^{(1)}\end{array}$$

\right\} Θ(1)=⎩ ⎨ ⎧​Θ10(1)​Θ20(1)​Θ30(1)​​Θ11(1)​Θ21(1)​Θ31(1)​​Θ12(1)​Θ22(1)​Θ32(1)​​Θ13(1)​Θ23(1)​Θ33(1)​​⎭ ⎬ ⎫​
$$a_1^{(2)}=g(z_1^{(2)}),a_2^{(2)}=g(z_2^{(2)}),a_3^{(2)}=g(z_3^{(2)})$$
z ( 2 ) = { z 1 ( 2 ) z 2 ( 2 ) z 3 ( 2 ) } z^{(2)}=\left\{

z1(2)z2(2)z3(2)" role="presentation" style="position: relative;">z(2)1z(2)2z(2)3$$\begin{array}{c}{z}_1^{(2)}\\ z_2^{(2)}\\ z_3^{(2)}\end{array}$$

\right\} z(2)=⎩ ⎨ ⎧​z1(2)​z2(2)​z3(2)​​⎭ ⎬ ⎫​
则有$a^{(2)}=g({\Theta }^{(1)}{a}^{(1)})=g(z^{(2)})$；

预测结果为：
$$h_{\Theta }(x)=a^{(3)}=g({\Theta }^{(2)}{a}^{(2)})=g(z^{(3)})$$
则有：
$$z_i^{(j)}={\Theta }_{i,0}^{(j-1)}{a}_0^{(j-1)}+{\Theta }_{i,1}^{(j-1)}{a}_0^{(j-1)}+\cdots +{\Theta }_{i,n}^{(j-1)}{a}_n^{(j-1)}$$
$$z^{(j)}={\Theta }^{(j-1)}{a}^{(j-1)},a^{(j)}=g(z^{(j)})$$
通过该式即可计算神经网络中每一层的值。

扩展到所有样本实例：
$$z^{(2)}={\Theta }^{(1)}{X}^T$$
这时$z^{(2)}$是一个$s_2\times m$维的矩阵。

其中各个字母的代表意思维：
$$m：训练集中的样本实例数量$$
$$s_2：第二层神经网络中激活单元的数量$$