矩阵求导之二

上一篇：https://blog.csdn.net/m0_37567738/article/details/133444201?spm=1001.2014.3001.5502

参考网址：https://zhuanlan.zhihu.com/p/262751195

在机器学习的算法推导里，通常遵循以下布局的规范：

1. 如果向量或者矩阵对标量求导，则以分子布局为准。
2. 如果标量对向量或者矩阵求导，则以分母布局为准。
3. 对于向量对对向量求导，一般以分子布局的雅克比矩阵为主，即结果是一个矩阵。
4. 分子布局和分母布局的结果相差一个转置。

$$tr(AB)=tr(BA)$$

$$tr(A^{T}B)=\sum _{i,j}{A}_{ij}{B}_{ij},即tr(A^{T}B)是矩阵A，B的内积(或卷积和)\text{\hspace{1em}(2.1)}$$

$$df=\sum _{i=1}^n\frac{\partial f}{\partial x_i}d{x}_i={\frac{\partial f}{\partial x}}^{T}dx\text{\hspace{1em}(2.2)}$$

将{2.2}中的向量推广到矩阵，由{2.1}和{2.2}可得：
$$df=\sum _{i=1}^m\sum _{j=1}^n\frac{\partial f}{\partial X_{ij}}d{X}_{ij}=tr({\frac{\partial f}{\partial X}}^{T}dX)$$

上述微分法，是对矩阵求导数的基本思想。

例1:
$$若y=a^{T}Xb,其中y是标量,a是m维向量，b是n维向量，X是m\ast n维矩阵，求\frac{\partial y}{\partial X}$$

解法1:
按照分母布局可得：
$$\frac{\partial y}{\partial X}=a{b}^T$$

解法2:
$$df=d{a}^{T}Xb+a^{T}dXb+a^{T}Xdb=a^{T}dXb$$

$$df=tr(a^{T}dXb)=tr((a{b}^T{)}^{T}dX)$$

$$\frac{\partial f}{\partial X}=a{b}^T$$

例子2：
求$d{A}^{-1}$

解：
$$\begin{gathered} A^{-1}A=I=> \\ d(A^{-1}A)=d(A^{-1})A+A^{-1}dA=dI=> \\ d(A^{-1})A=-A^{-1}dA=> \\ d(A^{-1})=-A^{-1}dA{A}^{-1} \end{gathered}$$

或者：

$$\begin{gathered} A{A}^{-1}=I=> \\ d(A{A}^{-1})=dA{A}^{-1}+Ad(A^{-1})=dI=> \\ Ad(A^{-1})=-dA{A}^{-1}=> \\ d(A^{-1})=-A^{-1}dA{A}^{-1} \end{gathered}$$

例3： 求d (detA)

解：

$$d|X|=|X|tr(X^{-1}dX)=tr(X^{\ast }dX)$$

行列式求导公式推导：https://www.cnblogs.com/analysis101/p/14677671.html

https://jingyan.baidu.com/article/a501d80cb6ef00ac620f5e21.html

例4:
$$f(x)=\left|\begin{array}{ccc}x+a& a& a\\ a& x+a& a\\ a& a& x+a\end{array}\right|，求f^{\prime }(x)$$

解：
按照例3的公式求导即可。该公式的证明（验证）见例3中的链接地址。

$$f^{\prime }(x)=3\left|\begin{array}{cc}x+a& a\\ a& x+a\end{array}\right|=3x^2+6ax$$

例5：

验证$$d(AB)=dAB+AdB$$

解：

设A= $\left\{\begin{array}{cc}{f}_1& f_2\\ f_3& f_4\end{array}\right\}$,B= $\left\{\begin{array}{cc}{g}_1& g_2\\ g_3& g_4\end{array}\right\}$
则A’= $\left\{\begin{array}{cc}{f}_1^{{}^{\prime }}& f_2^{{}^{\prime }}\\ f_3^{{}^{\prime }}& f_4^{{}^{\prime }}\end{array}\right\}$,B’= $\left\{\begin{array}{cc}{g}_1^{{}^{\prime }}& g_2^{{}^{\prime }}\\ g_3^{{}^{\prime }}& g_4^{{}^{\prime }}\end{array}\right\}$

$$\begin{gathered} dAB=d\left\{\begin{array}{cc}{f}_1{g}_1+f_2{g}_3& f_1{g}_2+f_2{g}_4\\ f_3{g}_1+f_4{g}_3& f_3{g}_2+f_4{g}_4\end{array}\right\}= \\ \left\{\begin{array}{cc}{f}_1^{{}^{\prime }}{g}_1+f_2^{{}^{\prime }}{g}_3& f_1^{{}^{\prime }}{g}_2+f_2^{{}^{\prime }}{g}_4\\ f_3^{{}^{\prime }}{g}_1+f_4^{{}^{\prime }}{g}_3& f_3^{{}^{\prime }}{g}_2+f_4^{{}^{\prime }}{g}_4\end{array}\right\}+ \\ \left\{\begin{array}{cc}{f}_1{g}_1^{{}^{\prime }}+f_2{g}_3^{{}^{\prime }}& f_1{g}_2^{{}^{\prime }}+f_2{g}_4^{{}^{\prime }}\\ f_3{g}_1^{{}^{\prime }}+f_4{g}_3^{{}^{\prime }}& f_3{g}_2^{{}^{\prime }}+f_4{g}_4^{{}^{\prime }}\end{array}\right\}=dAb+AdB \end{gathered}$$

例6:

求dtr(AB)对A的导数。

解：

$$tr(AB)=\sum _{i,j}{A}_{ij}{B}_{ji}$$

$$dtr(AB)=\frac{\partial ({\sum }_{i,j}{A}_{ij}{B}_{ji}{)}^T}{\partial A}dA=(B^T{)}^{T}dA$$

即dtr(AB)对A的导数是$B^T$。

例7: 求$\frac{\partial tr(A)}{\partial A}$

解：
$$\frac{\partial tr(A)}{\partial A}=I$$

说明：
此题是标量对矩阵求导的典型例子，此种类型还是按照开头讲的思路计算。这个题没什么技巧，记住即可。