微积分在神经网络中的本质

calculus

在一个神经网络中我们通常将每一层的输出结果表示为：$a^{[l]}$

• 为了方便记录，将神经网络第一层记为：

$$[1]$$

对应的计算记录为为：
$$\begin{gathered} a^{[l]}：第l层 \\ {a}_{[j]}：第j个神经元 \end{gathered}$$
代价函数为：

其中y为实际值，

而对于$\frac{d{C}_0}{dw}$是求斜率，或者具体的解释是$w$的数值变动对$C_0$的影响：

根据链式法则：

具体计算过程：

所以$w$的数值变动对$C_0$的影响与：真实值与计算值的偏差、激活函数$\sigma$,上一层的输出值有关

如果理解了上述的内容，其他的代价函数$\nabla C$就只是换偏导对象即可：

比如，如果要计算$\frac{d{C}_0}{db}$，只需要替换一项即可：

同理，应用在BP中可以计算$w_{jk}^L;一条线的权值的影响$（其中jk分别代表$L-1$和$L$层中的不同点）：

也可以计算$a_k^{L-1};前一层的输出值的影响$：