强化学习基础-标量对矩阵的求导术

以下来自于知乎文章《机器学习中的数学理论1：三步搞定矩阵求导》

在机器学习，控制论中总会遇到这样或那样需要借助矩阵或者向量求导才能解决的问题(例:Gradient Descent)。这类问题对于在机器学习中分析，推导，应用其原理性理论有很重要的作用。

$x:$标量；$\mathbf{x}:$向量；$X$:矩阵

1.预备背景

1.1 常用矩阵微分运算法则

• $d(X\pm Y)=d(X)\pm d(Y)$

• $d(XY)=XdY+(dX)Y$

• $d(X^T)=(dX{)}^T$

• $dtr(X)=trd(X)$

• $d(X\odot Y)=dX\odot Y+X\odot dY$

• $d{X}^{-1}=-X^{-1}dX{X}^{-1}$

• $d|X|=|X|tr(X^{-1}dX)$

• $d\sigma (X)={\sigma }^{‘}(X)\odot dX$

1.2 常用矩阵迹运算法则

• $a=tr(a)$,当a是标量
• $tr(A^T)=tr(A)$
• $tr(A\pm B)=tr(A)\pm tr(B)$
• $tr(AB)=tr(BA)={\sum }_{i,j}{A}_{ij}{B}_{ij}$,当$A$与$B^T$尺寸相同时
• $tr(A^T(B\odot C))=tr((A\odot B{)}^{T}C)={\sum }_{i,j}{A}_{ij}{B}_{ij}{C}_{ij}$

1.3 常用矩阵直积运算法则

• $A⨂B\ne B⨂A$

• $(A_1+A_2)⨂B=A_1⨂B+A_2⨂B$

• $(A⨂B)⨂C=A⨂(B⨂C)$

• 若$A_1,A_2$可以做乘法运算，$B_1,B_2$可以做乘法运算:
  $$(A_1⨂A_2)(B_1⨂B_2)=(A_1{A}_2)⨂(B_1{B}_2)$$

• 若$A,B$可以求逆:
  $$(A⨂B{)}^{-1}=A^{-1}⨂B^{-1}$$
  若不能求逆运算则:
  $$(A⨂B{)}^{+}=A^{+}⨂B^{+}$$

• $(A⨂B{)}^H=A^H⨂B^H$

• $det(A⨂B)=(detA{)}^n(detB{)}^m(A\in C^{m\times m},B\in C^{n\times n})$

• $tr(A⨂B)=(trA)⨂(trB)$

• $rank(A⨂B)=rankA⨂rankB$

• $e^{I⨂A}=I⨂e^A,e^{A⨂I}=A⨂I$

• $e^{(A⨂I_n+I_m⨂B)}=e^A⨂e^B$

2.标量对矩阵的求导术

2.1 算法流程

$\mathbf{I}\mathbf{n}\mathbf{p}\mathbf{u}\mathbf{t}:X,f$

$\mathbf{O}\mathbf{u}\mathbf{t}\mathbf{p}\mathbf{u}\mathbf{t}:\frac{\partial f}{\partial X}$

$\mathbf{A}\mathbf{l}\mathbf{g}\mathbf{o}\mathbf{r}\mathbf{i}\mathbf{t}\mathbf{h}\mathbf{m}$:

1. 根据$f$寻找$df$.
2. $df$左右两边套$tr$:$tr(df)=df$
3. 根据$df=tr(\frac{\partial f^T}{\partial X}dX)$凑出$\frac{\partial f}{\partial X}$

2.2 习题

2.解: 首先对$f$左右两边求微分，令$u=Xb$:
$$1.df=a^{T}d(\exp (u))=a^T\exp (u)du=a^T\exp (Xb)\odot (dXb)$$

$$\begin{gathered} 2.df=tr(df)=tr(a^T(\exp (Xb)\odot (dXb))) \\ =tr((a\odot \exp (Xb){)}^{T}dXb) \\ =tr(b(a\odot \exp (Xb){)}^{T}dX) \\ =tr((a\odot \exp (Xb)b^T{)}^{T}dX) \end{gathered}$$

$$\begin{gathered} 3.由df=tr(\frac{\partial f^T}{\partial X}dX) \\ \frac{\partial f}{\partial X}=a\odot \exp (Xb)b^T \end{gathered}$$

3. 解:对上述$l$可知:$l=(Xw-y{)}^T(Xw-y)$:
   $$\begin{gathered} 1.dl=(Xdw{)}^T(Xw-y)+(Xw-y{)}^T(Xdw) \\ 2.dl=tr(dl)=tr(2(Xw-y{)}^{T}Xdw) \\ 3.由dl=tr(\frac{\partial f^T}{\partial w}dw)\to \frac{\partial f}{\partial w}=2X^T(Xw-y) \end{gathered}$$
   

2.3 标量对矩阵求导的链式法则

2.3.1 向量对向量求导链式法则

假设向量(列向量)之间存在依赖关系，比如:$\mathbf{x}\to \mathbf{y}\to \mathbf{z}$，则有:
$$\frac{\partial \mathbf{z}}{\partial \mathbf{x}}=\frac{\partial \mathbf{z}}{\partial \mathbf{y}}\frac{\partial \mathbf{y}}{\partial \mathbf{x}}$$

2.3.2 标量对多个向量的链式求导法则

假设向量(列向量)之间存在依赖关系，比如:$\mathbf{x}\to \mathbf{y}\to \mathbf{z}$，要求导的是标量$z$。那么就有:$\frac{\partial z}{\partial \mathbf{y}}:n\times 1,\frac{\partial z}{\partial \mathbf{x}}:m\times 1,\frac{\partial \mathbf{y}}{\partial \mathbf{x}}:n\times m$,则:$\frac{\partial \mathbf{z}}{\partial \mathbf{x}}=(\frac{\partial \mathbf{y}}{\partial \mathbf{x}}{)}^T\frac{\partial \mathbf{z}}{\partial \mathbf{y}}$。当形式更为复杂有:
$${\mathbf{y}}_1\to {\mathbf{y}}_1\to ...{\mathbf{y}}_n\to z$$
那链式法则为:
$$\frac{\partial z}{\partial {\mathbf{y}}_1}=(\frac{\partial {\mathbf{y}}_n}{\partial {\mathbf{y}}_{n-1}}\frac{\partial {\mathbf{y}}_{n-1}}{\partial {\mathbf{y}}_{n-2}}...\frac{\partial {\mathbf{y}}_2}{\partial {\mathbf{y}}_1}{)}^T\frac{\partial z}{\partial {\mathbf{y}}_n}$$

2.3.3 标量对多个矩阵的链式求导法则