每天五分钟机器学习：使用反向传播算法完成神经网络的参数更新

本文重点：

本节课程我们将学习能够让神经网络的代价函数最小化的算法：反向传播算法。

神经网络输出ℎθ(x)由神经网络中的权重参数决定的，所以我们要找到最好的神经网络中的权重参数，和很多学习算法一样，我们应该让我们神经网络的损失函数最小，因为最小的时候所对应的模型就是我们想要的模型，用这个模型进行新样本的预测，我们总是能得到很好的预测值，那么我们现在的任务就是最小化神经网络的代价函数。

 

一个样本的前向传播

 

一个样本（x，y）是如何进行前向传播的？

将样本x输入到神经网络中，神经网络会逐渐计算出a(2)、a(3)、a(4)，其中a(4)是hθ(x)的输出

一个样本的反向传播

 

反向传播算法：首先计算最后一层（输出层）的误差，然后再一层一层反向求出各层的误差，直到倒数第二层。第一层是没有误差的，因为神经网络的第一层对应的是输入层，那是我们在训练集中能够