对梯度回传的理解

参考  对梯度回传的理解 - 云+社区 - 腾讯云

       神经网络的每一层可以看做是使用一个函数对变量的一次计算。在微分中链式法则用于计算复合函数的导数。反向传播时一种计算链式法则的算法，使用高效的特定运算顺序。

       设x是实数，f和g是从实数映射到实数的函数。假设y=g(x)并且z=f(g(x))=f(y)。那么链式法则说的是

                                                     dzdx=dzdydydx" role="presentation" style="position: relative;">dzdx=dzdydydx$\frac{dz}{dx}=\frac{dz}{dy}\frac{dy}{dx}$

可以将这种标量情况进行扩展。假设x∈" role="presentation" style="position: relative;">∈$\in$Rm" role="presentation" style="position: relative;">Rm$R^m$，y∈" role="presentation" style="position: relative;">∈$\in$Rn" role="presentation" style="position: relative;">Rn$R^n$，g是从Rm" role="presentation" style="position: relative;">Rm$R^m$到Rn" role="presentation" style="position: relative;">Rn$R^n$的映射，f是从Rn" role="presentation" style="position: relative;">Rn$R^n$到R的映射。如果y=g(x)并且z=f(y)，那么

                                                     dzdxi=∑jdzdyidydxi" role="presentation" style="position: relative;">dzdxi=∑jdzdyidydxi$\frac{dz}{d{x}_i}=\sum _j\frac{dz}{d{y}_i}\frac{dy}{d{x}_i}$  

 使用向量记法，可以等价地写成

                                                    ▽xz=(∂y∂x)T▽yz" role="presentation" style="position: relative;">▽xz=(∂y∂x)T▽yz${▽}_{x}z=(\frac{\mathrm{\partial }y}{\mathrm{\partial }x}{)}^T{▽}_{y}z$

这里∂y∂x" role="presentation" style="position: relative;">∂y∂x$\frac{\mathrm{\partial }y}{\mathrm{\partial }x}$是g的nxm的Jacobian矩阵。

从这里我们看到，变量x的梯度可以通过Jacobian矩阵∂y∂x" role="presentation" style="position: relative;">∂y∂x$\frac{\mathrm{\partial }y}{\mathrm{\partial }x}$和梯度▽yz" role="presentation" style="position: relative;">▽yz${▽}_{y}z$乘积来得到。反向传播算法由由图中每一个这样的Jacobian梯度的乘积操作所组成。通常我们将反向传播算法应用于任意维度的张量，而不仅仅是用于向量。从概念上讲，这与使用向量的反向传播完全相同。唯一区别的是如何将数字排成网络以形成张量。可以想象，在运行反向传播之前，将每个张量变平为一个向量，计算一个向量值梯度，然后将该梯度重新构造成一个张量。从这种重新排列的观点上看，反向传播仍然只是将Jacobian乘以梯度。

为了表示值z关于张量X的梯度，记为▽Xz" role="presentation" style="position: relative;">▽Xz${▽}_{X}z$，就像X是张量一样。X的索引现在有多个坐标------例如，一个3维的张量由3个坐标索引。可以通过使用单个变量i来表示完整的索引元组，从而完全抽象出来。对所有可能的元组i，▽Xzi" role="presentation" style="position: relative;">▽Xzi${▽}_X{z}_i$给出∂z∂Xi" role="presentation" style="position: relative;">∂z∂Xi$\frac{\mathrm{\partial }z}{\mathrm{\partial }{X}_i}$。这与向量中索引的方式完全一致，(▽xz)i" role="presentation" style="position: relative;">(▽xz)i$({▽}_{x}z{)}_i$给出 ∂z∂Xi" role="presentation" style="position: relative;">∂z∂Xi$\frac{\mathrm{\partial }z}{\mathrm{\partial }{X}_i}$。使用这种记法，可以写出适用于张量的链式法则。如果Y=g(X)并且z=f(Y)，那么