前言

本文只会记录人工智能中所用到的线性代数知识，并不会记录大学线性代数教材中的所有知识。

现在CSDN不能发超长的文章了，只能分成多篇发布。

人工智能数学基础之线性代数(一)
人工智能数学基础之线性代数(二)
人工智能数学基础之线性代数(三)

行列式的性质

记
$$D=\left|\begin{array}{cccc}{a}_{11}& a_{12}& \cdots & a_{1n}\\ a_{21}& a_{22}& \cdots & a_{2n}\\ ⋮& ⋮& & ⋮\\ a_{n1}& a_{n2}& \cdots & a_{nn}\end{array}\right|,D^T=\left|\begin{array}{cccc}{a}_{11}& a_{21}& \cdots & a_{n1}\\ a_{12}& a_{22}& \cdots & a_{n2}\\ ⋮& ⋮& & ⋮\\ a_{1n}& a_{2n}& \cdots & a_{nn}\end{array}\right|$$
行列式$D^T$称为行列式$D$的转置行列式。

性质1 行列式与它的转置行列式相等

性质2 互换行列式的两行(列)，行列式变号

推论 如果行列式有两行(列)完全相同，则此行列式等于零

性质3 行列式的某一行(列)中所有的元素都乘以同一数$k$，等于用数$k$乘此行列式

推论 行列式中某一行(列)的所有元素的公因子可以提到行列式记号的外面

性质4 行列式中如果有两行(列)元素成比例，则此行列式等于零

性质5 若行列式的某一列(行)的元素都是两数之和，例如第$i$列的元素都是两数之和：
$$D=\left|\begin{array}{cccccc}{a}_{11}& a_{12}& \cdots & (a_{1i}+a_{1i}^{\prime })& \cdots & a_{1n}\\ a_{21}& a_{22}& \cdots & (a_{2i}+a_{2i}^{\prime })& \cdots & a_{2n}\\ ⋮& ⋮& & ⋮& & ⋮\\ a_{n1}& a_{n2}& \cdots & (a_{ni}+a_{ni}^{\prime })& \cdots & a_{nn}\end{array}\right|,$$
则$D$等于下列两个行列式之和：
$$\begin{gathered} D=\left|\begin{array}{cccccc}{a}_{11}& a_{12}& \cdots & a_{1i}& \cdots & a_{1n}\\ a_{21}& a_{22}& \cdots & a_{2i}& \cdots & a_{2n}\\ ⋮& ⋮& & ⋮& & ⋮\\ a_{n1}& a_{n2}& \cdots & a_{ni}& \cdots & a_{nn}\end{array}\right|+ \\ \left|\begin{array}{cccccc}{a}_{11}& a_{12}& \cdots & a_{1i}^{\prime }& \cdots & a_{1n}\\ a_{21}& a_{22}& \cdots & a_{2i}^{\prime }& \cdots & a_{2n}\\ ⋮& ⋮& & ⋮& & ⋮\\ a_{n1}& a_{n2}& \cdots & a_{ni}^{\prime }& \cdots & a_{nn}\end{array}\right|. \end{gathered}$$
性质6 把行列式的某一列(行)的各元素乘以同一数然后加到另一列(行)对应的元素上去，行列式不变。

例如以数$k$乘第$j$列加到第$i$列上(记作$c_i+k{c}_j$)，有
$$\begin{gathered} \left|\begin{array}{ccccccc}{a}_{11}& \cdots & a_{1i}& \cdots & a_{1j}& \cdots & a_{1n}\\ a_{21}& \cdots & a_{2i}& \cdots & a_{2j}& \cdots & a_{2n}\\ ⋮& & ⋮& & ⋮& & ⋮\\ a_{n1}& \cdots & a_{ni}& \cdots & a_{nj}& \cdots & a_{nn}\end{array}\right| \\ \stackrel{c_i+k{c}_j}{=}\left|\begin{array}{ccccccc}{a}_{11}& \cdots & (a_{1i}+k{a}_{1j})& \cdots & a_{1j}& \cdots & a_{1n}\\ a_{21}& \cdots & (a_{2i}+k{a}_{2j})& \cdots & a_{2j}& \cdots & a_{2n}\\ ⋮& & ⋮& & ⋮& & ⋮\\ a_{n1}& \cdots & (a_{ni}+k{a}_{nj})& \cdots & a_{nj}& \cdots & a_{nn}\end{array}\right|(i\ne j) \end{gathered}$$
(以数$k$乘第$j$行加到第$i$行上，记作$r_i+k{r}_j$)

行列式按行(列)展开

一般来说，低阶行列式的计算比高阶行列式的计算要简便，于是，我们自然地考虑用低阶行列式来表示高阶行列式的问题。为此，先引入余子式和代数余子式的概念。

在$n$阶行列式中，把$(i,j)$元$a_{ij}$所在的第$i$行和第$j$列划去后，留下来的$n-1$阶行列式叫作$(i,j)$元$a_{ij}$的余子式，记作$M_{ij}$；记
$$A_{ij}=(-1{)}^{i+j}{M}_{ij},$$
$A_{ij}$叫做$(i,j)$元$a_{ij}$的代数余子式。

例如四阶行列式
$$D=\left|\begin{array}{cccc}{a}_{11}& a_{12}& a_{13}& a_{14}\\ a_{21}& a_{22}& a_{23}& a_{24}\\ a_{31}& a_{32}& a_{33}& a_{34}\\ a_{41}& a_{42}& a_{43}& a_{44}\end{array}\right|$$
中$(3,2)$元$a_{32}$的余子式和代数余子式分别为
$$\begin{gathered} M_{32}=\left|\begin{array}{ccc}{a}_{11}& a_{13}& a_{14}\\ a_{21}& a_{23}& a_{24}\\ a_{41}& a_{43}& a_{44}\end{array}\right|, \\ {A}_{32}=(-1{)}^{3+2}{M}_{32}=-M_{32}. \end{gathered}$$
引理 一个$n$阶行列式，如果其中第$i$行所有元素除$(i,j)$元$a_{ij}$外都为零，那么这行列式等于$a_{ij}$与它的代数余子式的乘积，即
$$D=a_{ij}{A}_{ij}.$$
定理3 行列式等于它的任一行(列)的各元素与其对应的代数余子式乘积之和，即
$$\begin{gathered} D=a_{i1}{A}_{i1}+a_{i2}{A}_{i2}+\cdots +a_{in}{A}_{in}(i=1,2,\cdots ,n), \\ D=a_{1j}{A}_{1j}+a_{2j}{A}_{2j}+\cdots +a_{nj}{A}_{nj}(j=1,2,\cdots ,n) \end{gathered}$$
证
$$\begin{gathered} D=\left|\begin{array}{cccc}{a}_{11}& a_{12}& \cdots & a_{1n}\\ ⋮& ⋮& & ⋮\\ a_{i1}+0+\cdots +0& 0+a_{i2}+\cdots +0& \cdots & 0+\cdots +0+a_{in}\\ ⋮& ⋮& & ⋮\\ a_{n1}& a_{n2}& \cdots & a_{nn}\end{array}\right| \\ =\left|\begin{array}{cccc}{a}_{11}& a_{12}& \cdots & a_{1n}\\ ⋮& ⋮& & ⋮\\ a_{i1}& 0& \cdots & 0\\ ⋮& ⋮& & ⋮\\ a_{n1}& a_{n2}& \cdots & a_{nn}\end{array}\right|+\left|\begin{array}{cccc}{a}_{11}& a_{12}& \cdots & a_{1n}\\ ⋮& ⋮& & ⋮\\ 0& a_{i2}& \cdots & 0\\ ⋮& ⋮& & ⋮\\ a_{n1}& a_{n2}& \cdots & a_{nn}\end{array}\right|+\cdots +\left|\begin{array}{cccc}{a}_{11}& a_{12}& \cdots & a_{1n}\\ ⋮& ⋮& & ⋮\\ 0& 0& \cdots & a_{in}\\ ⋮& ⋮& & ⋮\\ a_{n1}& a_{n2}& \cdots & a_{nn}\end{array}\right|, \end{gathered}$$
根据引理，即得
$$D=a_{i1}{A}_{i1}+a_{i2}{A}_{i2}+\cdots +a_{in}{A}_{in}(i=1,2,\cdots ,n)$$
类似地，若按列证明，可得
$$D=a_{1j}{A}_{1j}+a_{2j}{A}_{2j}+\cdots +a_{nj}{A}_{nj}(j=1,2,\cdots ,n).$$
这个定理叫做行列式按行(列)展开法则。利用这一法则并结合行列式的性质，可以简化行列式的计算。

推论 行列式的某一行(列)的元素与另一行(列)的对应元素的代数余子式乘积之和等于零。即
$$\begin{gathered} a_{i1}{A}_{j1}+a_{i2}{A}_{j2}+\cdots +a_{in}{A}_{jn}=0,i\ne j, \\ {a}_{1i}{A}_{1j}+a_{2i}{A}_{2j}+\cdots +a_{ni}{A}_{nj}=0,i\ne j. \end{gathered}$$
证 把行列式$D=det(a_{ij})$按第$j$行展开，有
$$a_{j1}{A}_{j1}+a_{j2}{A}_{j2}+\cdots +a_{jn}{A}_{jn}=\left|\begin{array}{ccc}{a}_{11}& \cdots & a_{1n}\\ ⋮& & ⋮\\ a_{i1}& \cdots & a_{in}\\ ⋮& & ⋮\\ a_{j1}& \cdots & a_{jn}\\ ⋮& & ⋮\\ a_{n1}& \cdots & a_{nn}\end{array}\right|,$$
在上式中把$a_{jk}$换成$a_{ik}(k=1,\cdots ,n)$，可得
$$a_{i1}{A}_{j1}+a_{i2}{A}_{j2}+\cdots +a_{in}{A}_{jn}=\left|\begin{array}{ccc}{a}_{11}& \cdots & a_{1n}\\ ⋮& & ⋮\\ a_{i1}& \cdots & a_{in}(i\text{行})\\ ⋮& & ⋮\\ a_{i1}& \cdots & a_{in}(j\text{行})\\ ⋮& & ⋮\\ a_{n1}& \cdots & a_{nn}\end{array}\right|$$
当$i\ne j$时，上式右端行列式中有两行对应元素相同，故行列式为零，即得
$$a_{i1}{A}_{j1}+a_{i2}{A}_{j2}+\cdots +a_{in}{A}_{jn}=0,i\ne j.$$
上述证法如按列进行，可得
$$a_{1i}{A}_{1j}+a_{2i}{A}_{2j}+\cdots +a_{ni}{A}_{nj}=0,i\ne j.$$

克拉默法则

又译为克莱姆法则。

含有$n$个未知数$x_1,x_2,\cdots ,x_n$的$n$个线性方程的方程组
$$\{\begin{array}{l}{a}_{11}{x}_1+a_{12}{x}_2+\cdots +a_{1n}{x}_n=b_1,\\ a_{21}{x}_1+a_{22}{x}_2+\cdots +a_{2n}{x}_n=b_2,\\ \cdots \\ a_{n1}{x}_1+a_{n2}{x}_2+\cdots +a_{nn}{x}_n=b_n,\end{array}\text{\hspace{1em}(8)}$$
与二、三元线性方程组类似，它的解可以用$n$阶行列式表示，即有

克拉默法则 如果线性方程组$(8)$的系数行列式不等于零，即
$$D=\left|\begin{array}{ccc}{a}_{11}& \cdots & a_{1n}\\ ⋮& & ⋮\\ a_{n1}& \cdots & a_{nn}\end{array}\right|\ne 0,$$
那么，方程组$(11)$有唯一解
$$x_1=\frac{D_1}{D},x_2=\frac{D_2}{D},x_n=\frac{D_n}{D},\text{\hspace{1em}(9)}$$
其中$D_j(j=1,2,\cdots ,n)$是把系数行列式$D$中第$j$列的元素用方程组右端的常数项代替后得到的$n$阶行列式，即
$$D_j=\left|\begin{array}{ccccccc}{a}_{11}& \cdots & a_{1,j-1}& b_1& a_{1,j+1}& \cdots & a_{1n}\\ ⋮& & ⋮& ⋮& ⋮& & ⋮\\ a_{n1}& \cdots & a_{n,j-1}& b_n& a_{n,j+1}& \cdots & a_{nn}\end{array}\right|.$$
定理4 如果线性方程组$(8)$的系数行列式$D\ne 0$，则$(8)$一定有解，且解是唯一的。

该定理的逆否定理为
定理4’ 如果线性方程组$(8)$无解或有两个不同的解，则它的系数行列式比为零。

线性方程组$(8)$右端的常数项$b_1,b_2,\cdots ,b_n$全为零时，线性方程组$(8)$叫做 齐次线性方程组。

对于齐次线性方程组
$$\{\begin{array}{l}{a}_{11}{x}_1+a_{12}{x}_2+\cdots +a_{1n}{x}_n=0,\\ a_{21}{x}_1+a_{22}{x}_2+\cdots +a_{2n}{x}_n=0,\\ \cdots \\ a_{n1}{x}_1+a_{n2}{x}_2+\cdots +a_{nn}{x}_n=0,\end{array}\text{\hspace{1em}(10)}$$
$x_1=x_2=\cdots =x_n=0$一定是它的解，这个解叫做齐次线性方程组的零解。

如果一组不全为零的数是$(10)$的解，则它叫做齐次线性方程组$(10)$的非零解。

矩阵

矩阵是一个按照长方阵列排列的复数或实数集合。
由$m\times n$个数组成的一个$m$行$n$列的矩形表格。如图所示：

$A=\left[\begin{array}{cccc}{a}_{11}& a_{12}& \cdots & a_{1n}\\ a_{21}& a_{22}& \cdots & a_{2n}\\ ⋮& ⋮& \ddots & ⋮\\ a_{m1}& a_{m2}& \cdots & a_{mn}\end{array}\right]$

称为$m$行$n$列矩阵，简称$m\times n$矩阵。

这个$m\times n$个数称为矩阵$A$的元素，简称为元，数$a_{ij}$位于矩阵$A$的第$i$行第$j$列，称为矩阵$A$的$(i,j)$元。

以数$a_{ij}$为$(i,j)$元的矩阵可简记作$(a_{ij})$或$(a_{ij}{)}_{m\times n}$，$m\times n$矩阵$A$也记作$A_{m\times n}$。

行数与列数都等于$n$的矩阵称为$n$阶矩阵或$n$阶方阵。

元素都是零的矩阵称为零矩阵，记作$O$。

$n$个变量$x_1,x_2,\cdots ,x_n$与$m$个变量$y_1,y_2,\cdots ,y_m$之间的关系式
$$\{\begin{array}{l}{y}_1=a_{11}{x}_1+a_{12}{x}_2+\cdots +a_{1n}{x}_n,\\ y_2=a_{21}{x}_1+a_{22}{x}_2+\cdots +a_{2n}{x}_n,\\ \cdots \\ y_m=a_{m1}{x}_1+a_{m2}{x}_2+\cdots +a_{mn}{x}_n\end{array}\text{\hspace{1em}(2)}$$
表示从一个变量$x_1,x_2,\cdots ,x_n$与到变量$y_1,y_2,\cdots ,y_m$的线性变换，其中$a_{ij}$为常数。线性变换$(2)$的系数$a_{ij}$构成矩阵$A=(a_{ij}{)}_{m\times n}$，称为系数矩阵。

矩阵的基本运算

两个矩阵的行数和列数分别相等，称它们为同型矩阵。

加法

矩阵的加法只能在两个同型矩阵之间进行，两个矩阵相加时，对应元素进行相加。

如：

$$\left[\begin{array}{ccc}1& 2& 3\\ 4& 5& 7\end{array}\right]+\left[\begin{array}{ccc}0& 0& 2\\ 2& 1& 3\end{array}\right]=\left[\begin{array}{ccc}1& 2& 5\\ 6& 6& 10\end{array}\right]$$

数乘

数$\lambda$与矩阵$A$的乘积记作$\lambda A$或$A\lambda$，规定为

$\lambda A=A\lambda =\left[\begin{array}{cccc}\lambda a_{11}& \lambda a_{12}& \cdots & \lambda a_{1n}\\ \lambda a_{21}& \lambda a_{22}& \cdots & \lambda a_{2n}\\ ⋮& ⋮& \ddots & ⋮\\ \lambda a_{m1}& \lambda a_{m2}& \cdots & \lambda a_{mn}\end{array}\right]$

乘法

必须满足矩阵$A$的列数与矩阵$B$的行数相等，或者矩阵$A$的行数与矩阵$B$的列数相等。

记$C=AB$，矩阵$C$的第$i$行第$j$列的元素等于矩阵$A$的第$i$行的所有元素与矩阵$B$的第$j$列的对应元素的乘积之和，即：
$$C_{ij}=\sum _{k=1}^n{a}_{ik}{b}_{kj}$$
如：

${\left[\begin{array}{ccc}1& 2& 3\end{array}\right]}_{1\times 3}{\left[\begin{array}{c}4\\ 5\\ 6\end{array}\right]}_{3\times 1}=1\times 4+2\times 5+3\times 6=32$

${\left[\begin{array}{c}1\\ 2\\ 3\end{array}\right]}_{3\times 1}{\left[\begin{array}{ccc}4& 5& 6\end{array}\right]}_{1\times 3}={\left[\begin{array}{ccc}4& 5& 6\\ 8& 10& 12\\ 12& 15& 18\end{array}\right]}_{3\times 3}$

矩阵的乘法不满足交换律，但仍然满足结合律和分配律：

1. $(AB)C=A(BC)$

2. $\lambda (AB)=(\lambda A)B=A(\lambda B)(其中\lambda 为实数)$

3. $A(B+C)=AB+AC,(B+C)A=BA+CA$

转置

矩阵$A$的转置矩阵，记作$A^T$，是将$A$的行列互换后所得矩阵，如果$A$是一个$m\times n$阶矩阵，$A^T$是一个$n\times m$阶矩阵。

$A=\left[\begin{array}{cc}1& 4\\ 2& 5\\ 3& 6\end{array}\right]A^T=\left[\begin{array}{ccc}1& 2& 3\\ 4& 5& 6\end{array}\right]$

矩阵的转置的性质：

1. $(A^T{)}^T=A$
2. $(A+B{)}^T=A^T+B^T$
3. $(\lambda A{)}^T=\lambda A^T$
4. $(AB{)}^T=B^T{A}^T$

对称矩阵

定义 一个$n\times n$的矩阵$A$，若满足$A^T=A$，则称$A$为对称矩阵(symmetric matrix)，简称对称阵。其特点为：它的元素以对角线为对称轴对应相等。

例 设列矩阵$X=(x_1,x_2,\cdots ,x_n{)}^T$满足$X^{T}X=1$，$E$为$n$阶单位阵，$H=E-2X{X}^T$，证明$H$是对称阵，且$H{H}^T=E$。

注意：$X^{T}X$ = $x_1^2+x_2^2+\cdots +x_n^2$是一阶方阵，也就是一个数，而$X{X}^T$是$n$阶方阵。

证
$$\begin{array}{rl}{H}^T& =(E-2X{X}^T{)}^T\\ & =E^T-2(X{X}^T{)}^T\\ & =E-2X{X}^T=H\end{array}$$
所以$H$是对称阵。
$$\begin{array}{rl}H{H}^T& =H^2=(E-2X{X}^T{)}^2\\ & =E-4X{X}^T+4(X{X}^T)(X{X}^T)\\ & =E-4X{X}^T+4X(X^{T}X)X^T\\ & =E-4X{X}^T+4X{X}^T=E\end{array}$$

实对称矩阵

如果有$n$阶矩阵$A$，其矩阵的元素都为实数，且矩阵$A$的转置等于其本身，则称$A$为实对称矩阵。

主要性质：

1. 实对称矩阵$A$的不同特征值对应的特征向量是正交的。
2. 实对称矩阵$A$的特征值都是实数。
3. $n$阶实对称矩阵$A$必可相似对角化，且相似对角阵上的元素即为矩阵本身特征值。
4. 若$A$具有$k$重特征值${\lambda }_0$，必有$k$个线性无关的特征向量，或者说秩$r({\lambda }_{0}E-A)$必为$n-k$，其中$E$为单位矩阵。
5. 实对称矩阵$A$一定可正交相似对角化。

单位矩阵

如同数1位实数乘法中的单位元一样，也存在一个特殊矩阵$E$是矩阵乘法中的单位元，即
$$EA=AE=A$$
对任意$n\times n$的矩阵$A$都成立。

定义 $n\times n$的单位矩阵为矩阵$E=({\delta }_{ij})$，其中
$${\delta }_{ij}=\{\begin{array}{lr}1& 当i=j\\ 0& 当i\ne j\end{array}$$

即主对角元素均为$1$，其他元素均为$0$的$n\times n$矩阵。

一般地，若$B$为任一$m\times n$矩阵，且$C$为任一$n\times r$矩阵，则
$$BE=B\text{且}EC=C$$

$n\times n$单位矩阵$E$的列向量为用于定义$n$维欧几里得坐标空间的标准向量。$E$的第$j$列向量的标准记号为$e_j$。因此，$n\times n$单位矩阵可写为
$$E=(e_1,e_2,\cdots ,e_n)$$

矩阵的迹

$n$阶方阵$A$的迹(trace)记作$tr(A)$，是对角元素之和：
$$tr(A)=a_{11}+a_{22}+\cdots +a_{nn}=\sum _{i=1}^n{a}_{ii}$$

性质：：

1. 迹是所有特征值的和
2. $tr(AB)=tr(BA)$
3. 若矩阵$A$与矩阵$B$相似，则$tr(A)=tr(B)$

共轭矩阵

首先回顾下复数的概念，复数是实数的延伸，它使任意多项式方程都有跟。复数当中有个虚数单位$i$，它是$-1$的一个平方根，即$i^2=-1$。

任一复数都可以表达为$a+bi$，其中$a$及$b$皆为实数，分别称为复数的实部和虚部。

复数$z=a+bi$的模为$|z|=\sqrt{a^2+b^2}$。

$z=a+bi$的共轭复数定义为$z=a-bi$，即两个实部相等，虚部互为相反数。记作$\overline{z}$。有

• $\overline{z+w}=\overline{z}+\overline{w}$
• $\overline{zw}=\overline{z}\cdot \overline{w}$
• $\overline{\left(\frac{z}{w}\right)}=\frac{\overline{z}}{\overline{w}}$
• $\overline{\overline{z}}=z$
• $\overline{z}=z当且仅当z是实数$
• $|z{|}^2=z\overline{z}$

当虚部不为零时，共轭复数就是实部相等，虚部相反；

如果虚部为零，其共轭复数就是自身。即实数的共轭复数就是自身。

当$A=(a_{ij})$为复矩阵时，用${\overline{a}}_{ij}$表示$a_{ij}$的共轭复数，记
$$\overline{A}=({\overline{a}}_{ij}),$$
$\overline{A}$称为$A$的共轭矩阵。

共轭矩阵满足下述运算规律($A,B$为复矩阵，$\lambda$为复数)：

1. $\overline{A+B}=\overline{A}+\overline{B}$
2. $\overline{\lambda A}=\overline{\lambda }\overline{A}$
3. $\overline{AB}=\overline{A}\overline{B}$

埃尔米特矩阵

$A$的共轭矩阵$\overline{A}$的转置记为$A^H$。

定义 若一个矩阵$A$满足$A=A^H$，则称它为埃尔米特矩阵(Hermitian)。