机器学习入门（七）神经网络--代价函数、前向反向传播算法及问题

目录

一、代价函数

1.1 问题介绍

1.2 代价函数介绍

二、前向传播与反向传播 

2.1 我们要做的事情

2.2 理解前向传播        

2.3 理解反向传播

2.4 利用前向传播与反向传播实现神经网络 

2.5 举例 

三、梯度检验 

3.0 什么是梯度检测

3.1 方法：用数值逼近导数（数值上求近似导数）

3.2 结论 

四、随机初始化 

4.1 为什么需要随机初始化

4.2 随机初始化要做什么 

五、本章在做什么呢？ 

---

一、代价函数

1.1 问题介绍

        对于一元分类问题，比如我们上节判断两个数是不是异或关系。

        又如多元分类，我们正如上节说的，我们输出这是个鸡鸭鹅或者是什么，我们不能输出1，2，3。我们输出一个R4" role="presentation" style="position: relative;">R4${\mathbb{R}}^4$向量（0/1），比如第一维是1就是鸡......。

        然后我们上次得到的θ" role="presentation" style="position: relative;">θ$\theta$值都不是经过训练过的，因此我们要训练θ" role="presentation" style="position: relative;">θ$\theta$值，也要获得获得训练出θ" role="presentation" style="position: relative;">θ$\theta$值的好坏因此我们要获得代价函数。那么就让我们看看都怎么做吧！

1.2 代价函数介绍

逻辑回归的代价函数如下：

ȷ(θ)=−1m[∑i=1m(y(i)log(hθ(x(i)))+(1−y(i))log(1−hθ(x(i)))]+λ2m∑j=1nθj2" role="presentation" style="position: relative;">ȷ(θ)=−1m[∑mi=1(y(i)log(hθ(x(i)))+(1−y(i))log(1−hθ(x(i)))]+λ2m∑nj=1θ2j$ȷ(\theta )=-\frac{1}{m}\left[\begin{array}{c}\sum _{i=1}^m(y^{(i)}log(h_{\theta }(x^{(i)}))+(1-y^{(i)})log(1-h_{\theta }(x^{(i)}))\end{array}\right]+\frac{\lambda }{2m}\sum _{j=1}^n{\theta }_j^2$

仿照逻辑回归的代价函数，我们仿写出逻辑回归的代价函数：

ȷ(Θ)=−1m[∑i=1m∑k=1Kyk(i)log(hΘ(x(i)))k+(1−yk(i))log(1−(hΘ(x(i)))k)]+λ2m∑l=1L−1∑i=1sl∑j=1sl+1(Θji(l))2" role="presentation" style="position: relative;">ȷ(Θ)=−1m[∑mi=1∑Kk=1y(i)klog(hΘ(x(i)))k+(1−y(i)k)log(1−(hΘ(x(i)))k)]+λ2m∑L−1l=1∑sli=1∑sl+1j=1(Θ(l)ji)2$ȷ(\mathrm{\Theta })=-\frac{1}{m}[\sum _{i=1}^m\sum _{k=1}^K{y}_k^{(i)}log(h_{\mathrm{\Theta }}(x^{(i)}){)}_k+(1-y_k^{(i)})log(1-(h_{\mathrm{\Theta }}(x^{(i)}){)}_k)]+\frac{\lambda }{2m}\sum _{l=1}^{L-1}\sum _{i=1}^{s_l}\sum _{j=1}^{s_l+1}({\mathrm{\Theta }}_{ji}^{(l)}{)}^2$

其中：hΘ(x)⊂Rk    (hΘ(x))i=ith Output" role="presentation" style="position: relative;">hΘ(x)⊂Rk    (hΘ(x))i=ith Output$h_{\mathrm{\Theta }}(x)\subset {\mathbb{R}}^k(h_{\mathrm{\Theta }}(x){)}_i=i^{th}Output$

        解释：

二、前向传播与反向传播 

2.1 我们要做的事情

        我们得到了神经网络的代价函数：（后文有解释这是怎么推出来的）

        这里K" role="presentation" style="position: relative;">K$K$是输出的分类结果，m" role="presentation" style="position: relative;">m$m$是样本个数，L" role="presentation" style="position: relative;">L$L$是神经网络层数，sl" role="presentation" style="position: relative;">sl$s_l$为在l" role="presentation" style="position: relative;">l$l$层的单元。

ȷ(Θ)=−1m[∑i=1m∑k=1Kyk(i)log(hΘ(x(i)))k+(1−yk(i))log(1−(hΘ(x(i)))k)]+λ2m∑l=1L−1∑i=1sl∑j=1sl+1(Θji(l))2" role="presentation" style="position: relative;">ȷ(Θ)=−1m[∑mi=1∑Kk=1y(i)klog(hΘ(x(i)))k+(1−y(i)k)log(1−(hΘ(x(i)))k)]+λ2m∑L−1l=1∑sli=1∑sl+1j=1(Θ(l)ji)2$ȷ(\mathrm{\Theta })=-\frac{1}{m}[\sum _{i=1}^m\sum _{k=1}^K{y}_k^{(i)}log(h_{\mathrm{\Theta }}(x^{(i)}){)}_k+(1-y_k^{(i)})log(1-(h_{\mathrm{\Theta }}(x^{(i)}){)}_k)]+\frac{\lambda }{2m}\sum _{l=1}^{L-1}\sum _{i=1}^{s_l}\sum _{j=1}^{s_l+1}({\mathrm{\Theta }}_{ji}^{(l)}{)}^2$

        我们要求的是θ" role="presentation" style="position: relative;">θ$\theta$使得minΘȷ(Θ)" role="presentation" style="position: relative;">minΘȷ(Θ)$\underset{\mathrm{\Theta }}{min}ȷ(\mathrm{\Theta })$。

        因此要编码去求ȷ(Θ)" role="presentation" style="position: relative;">ȷ(Θ)$ȷ(\mathrm{\Theta })$和∂∂Θij(l)" role="presentation" style="position: relative;">∂∂Θ(l)ij$\frac{\mathrm{\partial }}{\mathrm{\partial }{\mathrm{\Theta }}_{ij}^{(l)}}$。 

2.2 理解前向传播        

         我们给定一个数据(x,y)" role="presentation" style="position: relative;">(x,y)$(x,y)$，神经网络系统在做如下的事情。

        为了方便标记，我们把输入x" role="presentation" style="position: relative;">x$x$作为第一层的激活项，即a(1)=x" role="presentation" style="position: relative;">a(1)=x$a^{(1)}=x$，然后前向传播，计算第二层的激活项即a(2)=g(z(2)),z(2)=Θ(1)a(1)=(θ0,θ1)(1,x)T" role="presentation" style="position: relative;">a(2)=g(z(2)),z(2)=Θ(1)a(1)=(θ0,θ1)(1,x)T$a^{(2)}=g(z^{(2)}),z^{(2)}={\mathrm{\Theta }}^{(1)}{a}^{(1)}=({\theta }_0,{\theta }_1)(1,x{)}^T$ 。然后最终得到输出a(4)" role="presentation" style="position: relative;">a(4)$a^{(4)}$也就是y" role="presentation" style="position: relative;">y$y$。

        在这一步中，我们得到了每一层的输出值。

2.3 理解反向传播

        反向传播是用于计算代价函数的，如下图所示：

        我们定义误差项δj(l)" role="presentation" style="position: relative;">δ(l)j${\delta }_j^{(l)}$为在l" role="presentation" style="position: relative;">l$l$层第j" role="presentation" style="position: relative;">j$j$个节点的误差。

        对于第四层，我们假设只有一个输出节点δj(4)=aj(4)−yj" role="presentation" style="position: relative;">δ(4)j=a(4)j−yj${\delta }_j^{(4)}=a_j^{(4)}-y_j$，误差为第四层的输出值-真值y。

        对于第三层的误差，我们只给出最终结果（推导较难）δj(3)=(Θ(3))Tδ(4).∗g′(z(3))" role="presentation" style="position: relative;">δ(3)j=(Θ(3))Tδ(4).∗g′(z(3))${\delta }_j^{(3)}=({\mathrm{\Theta }}^{(3)}{)}^T{\delta }^{(4)}.\ast g^{{}^{\prime }}(z^{(3)})$

        对于第二层的误差，我们只给出最终结果（推导较难）δj(2)=(Θ(2))Tδ(3).∗g′(z(2))" role="presentation" style="position: relative;">δ(2)j=(Θ(2))Tδ(3).∗g′(z(2))${\delta }_j^{(2)}=({\mathrm{\Theta }}^{(2)}{)}^T{\delta }^{(3)}.\ast g^{{}^{\prime }}(z^{(2)})$

        δj(i)" role="presentation" style="position: relative;">δ(i)j${\delta }_j^{(i)}$为第i" role="presentation" style="position: relative;">i$i$层的所有节点的误差，即每一个节点的误差为该层下一层可学习参数的向量与反向穿播得到的误差进行点乘，再点乘激活函数的导数。

2.4 利用前向传播与反向传播实现神经网络 

        我们有m" role="presentation" style="position: relative;">m$m$个训练集。先将可叠加误差项△ij(l)" role="presentation" style="position: relative;">△(l)ij${△}_{ij}^{(l)}$初始化为0，它被用来计算偏导项∂∂Θij(L)ȷ(Θ)" role="presentation" style="position: relative;">∂∂Θ(L)ijȷ(Θ)$\frac{\mathrm{\partial }}{\mathrm{\partial }{\mathrm{\Theta }}_{ij}^{(L)}}ȷ(\mathrm{\Theta })$，意思为对第L" role="presentation" style="position: relative;">L$L$层的第j" role="presentation" style="position: relative;">j$j$个参数Θ−−−−(Θij)" role="presentation" style="position: relative;">Θ−−−−(Θij)$\mathrm{\Theta }----({\mathrm{\Theta }}_{ij})$求偏导，如下图：

        至此，我们来总结一下这个算法到底在做什么：对于每一个数据，我们先利用前向传播计算出每一个节点的激活项。我们用反向传播计算出最后一层的误差δ(L)" role="presentation" style="position: relative;">δ(L)$\delta (L)$，我们用这个误差值乘以训练参数再计算出前一层的误差向量δ(L−1)" role="presentation" style="position: relative;">δ(L−1)$\delta (L-1)$ ，我们按照这样算出所有层的误差向量，将每一个样本的误差aj(l)δi(l+1)" role="presentation" style="position: relative;">a(l)jδ(l+1)i$a_j^{(l)}{\delta }_i^{(l+1)}$（第i个样本的第l层第j列节点的误差）  累计得到△ij(l)" role="presentation" style="position: relative;">△(l)ij${△}_{ij}^{(l)}$，最终除以样本数量得到对于每个节点的累计误差，我们也就得到了对每个学习参数的偏导。从而我们也就能通过梯度下降法来寻找最优解完成学习任务。

2.5 举例 

        正向传播：以z1(3)" role="presentation" style="position: relative;">z(3)1$z_1^{(3)}$的获得为例子：z1(3)=+1∗Θ02(2)+a1(2)∗Θ12(2)+a2(2)∗Θ22(2)" role="presentation" style="position: relative;">z(3)1=+1∗Θ(2)02+a(2)1∗Θ(2)12+a(2)2∗Θ(2)22$z_1^{(3)}=+1\ast {\mathrm{\Theta }}_{02}^{(2)}+a_1^{(2)}\ast {\mathrm{\Theta }}_{12}^{(2)}+a_2^{(2)}\ast {\mathrm{\Theta }}_{22}^{(2)}$，再根据激活函数a13=g(z1(3))" role="presentation" style="position: relative;">a31=g(z(3)1)$a_1^3=g(z_1^{(3)})$得到下一层的输入，经过这些步骤，我们前向计算得到了每一个节点的激活值和最终的分类输出结果。

        我们再前面得出：δj(l)" role="presentation" style="position: relative;">δ(l)j${\delta }_j^{(l)}$是aj(l)" role="presentation" style="position: relative;">a(l)j$a_j^{(l)}$的误差项（第l" role="presentation" style="position: relative;">l$l$层的第j" role="presentation" style="position: relative;">j$j$个节点），学过高等数学的同学可能指导，我们所算的δj(l)" role="presentation" style="position: relative;">δ(l)j${\delta }_j^{(l)}$其实就是代价函数关于zj(l)" role="presentation" style="position: relative;">z(l)j$z_j^{(l)}$的偏导数

        反向传播：以δ1(4),δ2(2)" role="presentation" style="position: relative;">δ(4)1,δ(2)2${\delta }_1^{(4)},{\delta }_2^{(2)}$的获得为例子：δ1(4)=y(i)−a1(4)" role="presentation" style="position: relative;">δ(4)1=y(i)−a(4)1${\delta }_1^{(4)}=y^{(i)}-a_1^{(4)}$这个很好理解，最终节点的误差就是我们的神经网络输出值与实际值的插值。δ2(2)=Θ12(2)δ1(3)+Θ22(2)δ2(3)" role="presentation" style="position: relative;">δ(2)2=Θ(2)12δ(3)1+Θ(2)22δ(3)2${\delta }_2^{(2)}={\mathrm{\Theta }}_{12}^{(2)}{\delta }_1^{(3)}+{\mathrm{\Theta }}_{22}^{(2)}{\delta }_2^{(3)}$，这个也很好理解，我们把误差反向传播，和前向传播相似。

三、梯度检验 

3.0 什么是梯度检测

        在神经网络或其他复杂的模型下使用前向传播，反向传播时，如果使用梯度下降来寻找参数，那么使用梯度检测会100%地消除梯度下降过程中产生的bug。

3.1 方法：用数值逼近导数（数值上求近似导数）

        有一个代价函数J(Θ)" role="presentation" style="position: relative;">J(Θ)$J(\mathrm{\Theta })$，在横轴上取一点θ(θ∈R)" role="presentation" style="position: relative;">θ(θ∈R)$\theta (\theta \in \mathbb{R})$，则这一点的导数对应于图像上在该点的切线斜率，如下图：   

        计算该点切线的斜率，可以做一个近似，即：

        在θ" role="presentation" style="position: relative;">θ$\theta$附近分别取点θ+ε" role="presentation" style="position: relative;">θ+ε$\theta +\epsilon$和θ−ε" role="presentation" style="position: relative;">θ−ε$\theta -\epsilon$（易知ε" role="presentation" style="position: relative;">ε$\epsilon$为很小的值），两点在曲线上表现为 (θ+ε,J(θ+ε))" role="presentation" style="position: relative;">(θ+ε,J(θ+ε))$(\theta +\epsilon ,J(\theta +\epsilon ))$和(θ−ε,J(θ−ε))" role="presentation" style="position: relative;">(θ−ε,J(θ−ε))$(\theta -\epsilon ,J(\theta -\epsilon ))$，两点的割线斜率即可近似为θ" role="presentation" style="position: relative;">θ$\theta$点在曲线上的切线斜率。即双侧差分：

J(θ+ε)−J(θ−ε)2ε" role="presentation" style="position: relative;">J(θ+ε)−J(θ−ε)2ε$\frac{J(\theta +\epsilon )-J(\theta -\epsilon )}{2\epsilon }$

         考虑更普遍的情况，参数θ" role="presentation" style="position: relative;">θ$\theta$为向量参数的时候也很好理解，如下图：

        其实如果加上limε→0" role="presentation" style="position: relative;">limε→0$\underset{\epsilon \to 0}{lim}$就是偏导数定义了。 

3.2 结论 

        之后，检查这个得到的θ" role="presentation" style="position: relative;">θ$\theta$向量导数值（gradApprox）和通过反向传播计算出的偏导项进行比较，如果相等或在数值上近似等于，那么就可以确定反向传播的实现（或使用其他高级算法计算出来的偏导数）是正确的。（等于的阈值是多少，那就交给调参侠了啊哈哈哈）

        那么总的来说，梯度检测的步骤如下：

        ①反向传播得到各个节点的误差项

        ②利用梯度检测算出偏导数

        ③看看误差和偏导数差的大不大

        ④梯度检测消耗资源很大，记得确认在反向传播代码无问题的时候关闭接口。

四、随机初始化 

4.1 为什么需要随机初始化

        对于一个模型来说，当执行梯度下降法或者高级算法时，我们需要对初始化参数Θ" role="presentation" style="position: relative;">Θ$\mathrm{\Theta }$初始一个值，对于梯度下降法也是如此，给予梯度下降法初始参数后，就能一步步通过梯度下降来最小化代价函数J(Θ)" role="presentation" style="position: relative;">J(Θ)$J(\mathrm{\Theta })$，但怎样初始化就成了一个难题。

4.2 随机初始化要做什么 

        我们先考虑一个问题：如果将参数都初始化设置为0会有什么问题呢？首先进行正向传播，第一层的激活项经过计算都是相同的且都是0，经过反向传播，误差项也相等，偏导数也相等.....因此经过每次更新以后，这两个隐藏单元的每个参数输入都相等的。即使利用梯度下降进行了一次迭代，这两个隐藏单元依然以相同的函数输入作为计算。他们会一直相等下去.....

        解决方法是我们要进行随机初始化。如上图所示。

        因此，为了训练神经网络，首先要将权重随机初始化为一个接近0的范围在(−ε,+ε)" role="presentation" style="position: relative;">(−ε,+ε)$(-\epsilon ,+\epsilon )$中的数，然后进行反向传播、梯度检验，最后使用梯度下降来最小化我们的代价函数。 

五、本章在做什么呢？ 

        当训练一个神经网络时，我们第一步做的就是选择一种网络架构（神经元之间的连接方式）：一般来说，我们只设置一个隐藏层，若设置多个隐藏层，每一层神经元的数量应该相等，如下图所示：

        第二步：构建一个神经网络并初始化权重（随机法）

        第三步：执行前向传播算法

        第四步：计算出代价函数JΘ" role="presentation" style="position: relative;">JΘ$J_{\mathrm{\Theta }}$

        第五步：执行反向传播算法计算偏导数们

        第六步：梯度检查

        第七步：用梯度下降或是其他优化方法最小化代价函数