前言

本文只会记录人工智能中所用到的线性代数知识，并不会记录大学线性代数教材中的所有知识。

现在CSDN不能发超长的文章了，只能分成多篇发布。

人工智能数学基础之线性代数(一)
人工智能数学基础之线性代数(二)
人工智能数学基础之线性代数(三)

矩阵的逆

方阵的行列式

定义6 由$n$阶方阵$A$的元素所构成的行列式，称为方阵$A$的行列式，记作$|A|$或$detA$。

由$A$确定$|A|$的这个运算满足下述运算规律(设$A,B$为$n$阶方阵，$\lambda$为数)：

1. $|A^T|=|A|$ （行列式性质1）
2. $|\lambda A|={\lambda }^n|A|$
3. $|AB|=|A||B|$

行列式$|A|$的各个元素的代数余子式$A_{ij}$所构成的如下的矩阵（注意是转置排法）
A ∗ = ( A 11 A 21 ⋯ A n 1 A 12 A 22 ⋯ A n 2 ⋮ ⋮ ⋮ A 1 n A 2 n ⋯ A n n ) , A^* =(A11A21⋯An1A12A22⋯An2⋮⋮⋮A1nA2n⋯Ann)

, A∗=⎝ ⎛​A11​A12​⋮A1n​​A21​A22​⋮A2n​​⋯⋯⋯​An1​An2​⋮Ann​​⎠ ⎞​,
称为矩阵$A$的伴随矩阵，简称伴随阵。

试证
$$A{A}^{\ast }=A^{\ast }A=|A|E$$
证
A A ∗ = ( a 11 a 12 ⋯ a 1 n a 21 a 22 ⋯ a 2 n ⋮ ⋮ ⋮ a n 1 a n 2 ⋯ a n n ) ( A 11 A 21 ⋯ A n 1 A 12 A 22 ⋯ A n 2 ⋮ ⋮ ⋮ A 1 n A 2 n ⋯ A n n ) = ( ∣ A ∣ ∣ A ∣ ⋱ ∣ A ∣ ) = ∣ A ∣ E AA^* =(a11a12⋯a1na21a22⋯a2n⋮⋮⋮an1an2⋯ann)

(A11A21⋯An1A12A22⋯An2⋮⋮⋮A1nA2n⋯Ann) = (|A||A|⋱|A|) = |A| E AA∗=⎝ ⎛​a11​a21​⋮an1​​a12​a22​⋮an2​​⋯⋯⋯​a1n​a2n​⋮ann​​⎠ ⎞​⎝ ⎛​A11​A12​⋮A1n​​A21​A22​⋮A2n​​⋯⋯⋯​An1​An2​⋮Ann​​⎠ ⎞​=⎝ ⎛​∣A∣​∣A∣​⋱​∣A∣​⎠ ⎞​=∣A∣E

逆矩阵

设$A$为$n$阶方阵($n\times n$)，若存在$n$阶方阵$B$使得:$AB=BA=E$，则称$A$是可逆的(或非奇异的)且矩阵$B$是矩阵$A$的逆矩阵，记为$A^{-1}=B$。
矩阵$B$称为$A$的逆矩阵，简称逆阵。

若$B$和$C$均为$A$的逆矩阵，则
$$B=BE=B(AC)=(BA)C=EC=C$$
因此一个矩阵最多有一个逆矩阵。

定理1 若矩阵$A$可逆，则$|A|\ne 0$

证 $A$可逆，即有$A^{-1}$，使$A{A}^{-1}=E$。故$|A|\cdot |A^{-1}|=|E|=1$，所以$|A|\ne 0$。

定理2 若$|A|\ne 0$，则矩阵$A$可逆，且
$$A^{-1}=\frac{1}{|A|}{A}^{\ast }\text{\hspace{1em}(1)}$$
其中$A^{\ast }$为矩阵$A$的伴随阵。

证

我们已知
$$A{A}^{\ast }=A^{\ast }A=|A|E$$
因为$|A|\ne 0$，(等式两边同时乘以$\frac{1}{|A|}$)故有
$$A\frac{1}{|A|}{A}^{\ast }=\frac{1}{|A|}{A}^{\ast }A=E,$$
所以，按逆矩阵的定义，即知$A$可逆，且
$$A^{-1}=\frac{1}{|A|}{A}^{\ast }.$$

当$|A|=0$时，$A$称为奇异矩阵，否则称非奇异矩阵。由上面两定理可知：$A$是可逆矩阵的充分必要条件是$|A|\ne 0$，即可逆矩阵就是非奇异矩阵。

由定理2，可得下述推论。

推论 若$AB=E$(或$BA=E$)，则$B=A^{-1}$。

证 $|A|\cdot |B|=|E|=1$，故$|A|\ne 0$，因而$A^{-1}$存在，于是
$$B=EB=(A^{-1}A)B=A^{-1}(AB)=A^{-1}E=A^{-1}。$$
方阵的逆阵满足下述运算规律：

1. 若$A$可逆，则$A^{-1}$亦可逆，且$(A^{-1}{)}^{-1}=A$

2. 若$A$可逆，数$\lambda \ne 0$，则$\lambda A$可逆，且$(\lambda A{)}^{-1}=\frac{1}{\lambda }{A}^{-1}$

3. 若$A,B$为同阶矩阵且均可逆，则$AB$亦可逆，且
   $$(AB{)}^{-1}=B^{-1}{A}^{-1}$$
   证 $(AB)(B^{-1}{A}^{-1})=A(B{B}^{-1})A^{-1}=A{A}^{-1}=E$ ，即有$(AB{)}^{-1}=B^{-1}{A}^{-1}$。

4. 若$A$可逆，则$A^T$亦可逆，且$(A^T{)}^{-1}=(A^{-1}{)}^T$

   证 $A^T(A^{-1}{)}^T=(A^{-1}A{)}^T=E^T=E$

矩阵的秩

矩阵的初等变换

为了引进矩阵的初等变换，先来分析用消元法解线性方程组的例子。

引例 求解线性方程组

在上述消元过程中，始终把方程组看作一个整体。其中用到三种变换，即：交换方程次序(如$(B_1)\text{中}①\leftrightarrow ②$)；以不等于0的数乘某个方程(如$(B_3)中②\times \frac{1}{2}$)；一个方程加上另一个方程的$k$倍(如$(B_2)中③-2①$)。

由于这三种变换都是可逆的，因此变换前的方程组与变换后的方程组是同解的。

在上述变换过程中，实际上只对方程组的系数和常数进行运算，未知数并未参与运算。因此，若记方程组$(1)$的增广矩阵为
B = ( A , b ) = ( 2 − 1 − 1 1 2 1 1 − 2 1 4 4 − 6 2 − 2 4 3 6 − 9 7 9 ) , B =(A,b) =(2−1−11211−2144−62−2436−979)

, B=(A,b)=⎝ ⎛​2143​−11−66​−1−22−9​11−27​2449​⎠ ⎞​,
那么上述对方程组的变换完全可以转换为对矩阵$B$的变换。把方程组的上述三种同解变换移植到矩阵上，就得到句子的三种初等变换。

定义1 下面三种变换称为矩阵的初等行变换：

1. 对调两行(对调$i,j$两行，记作$r_i\leftrightarrow r_j$)
2. 以数$k\ne 0$乘某一行中的所有元素(第$i$行乘$k$，记作$r_i\times k$)
3. 把某一行所有元素的$k$倍加到另一行对应的元素上去(第$j$行的$k$倍加到第$i$行上，记作$r_i+k{r}_j$)

把定义中的“行”换成“列”，即得矩阵的初等列变换的定义。

矩阵的初等行变换与初等列变换，统称为初等变换。

显然，三种初等变换都是可逆的(操作)，且其逆变换是同一类型的初等变换；

• 变换$r_i\leftrightarrow r_j$的逆变换就是其本身；
• 变换$r_i\times k$的逆变换为$r_i\times \left(\frac{1}{k}\right)$(或记作$r_i÷k$)
• 变换$r_i+k{r}_j$的逆变换为$r_i+(-k)r_j$(或记作$r_i-k{r}_j$)

如果矩阵$A$经过有限次初等行变换变成矩阵$B$，就称矩阵$A$与$B$行等价，记作$A\stackrel{r}{\sim }B$；

如果矩阵$A$经过有限次初等列变换变成矩阵$B$，就称矩阵$A$与$B$列等价，记作$A\stackrel{c}{\sim }B$；

如果矩阵$A$经过有限次初等变换变成矩阵$B$，就称为矩阵$A$与$B$等价，记作$A\sim B$。

矩阵之间的等价关系具有下列性质：

1. 反身性 $A\sim A$
2. 对称性 若$A\sim B$，则$B\sim A$
3. 传递性 若$A\sim B,B\sim C$，则$A\sim C$

下面用矩阵的初等行变换来解方程组$(1)$，其过程可与方程组$(1)$的消元过程一一对照。

矩阵$B_4$和$B_5$都称为行阶梯形矩阵，其特点是：

可画出一条阶梯线，线的下方全为0；

每个台阶只有一行，台阶数即使非零行的行数；

阶梯线的竖线后面的一个元素为非零元，也就是非零行的第一个非零元；

行阶梯形矩阵$B_5$还称为行最简形矩阵，其特点是：非零行的第一个非零元为$1$，且这些非零元所在的列的其他元素都为$0$。

对于任何矩阵$A_{m\times n}$，总可经过有限次初等行变换把它变为行阶梯形矩阵和行最简形矩阵。

对行最简形矩阵再施以初等列变换，可变成一种形状更简单的矩阵，称为标准形，例如：

矩阵$F$称为矩阵$B$的标准形，其特点是：$F$的左上角是一个单位矩阵，其余元素全为$0$。

对于$m\times n$矩阵$A$，总可经过初等变换(行变换或列变换)把它化为标准形
F = ( E r O O O ) m × n F = (ErOOO)

_{m \times n} F=(Er​O​OO​)m×n​

此标准形由$m,n,r$三个数完全确定，其中$r$就是行阶梯形矩阵中非零行的行数。

定理1 设$A$与$B$为$m\times n$矩阵，那么：

1. $A\stackrel{r}{\sim }B$的充要条件是存在$m$阶可逆矩阵$P$；使$PA=B$;
2. $A\stackrel{c}{\sim }B$的充要条件是存在$n$阶可逆矩阵$Q$；使$AQ=B$;
3. $A\sim B$的充要条件是存在$m$阶可逆矩阵$P$及$n$阶可逆矩阵$Q$，使$PAQ=B$。

为了证明这个定理，我们引进初等矩阵的知识。

定义2 由单位阵$E$经过一次初等变换得到的矩阵称为初等矩阵。

三种初等变换对应有三种初等矩阵。

(1) 把单位阵中第$i,j$两行对调(或两列对调)，得初等矩阵

用$m$阶初等矩阵$E_m(i,j)$左乘矩阵$A=(a_{ij}{)}_{m\times n}$，得

其结果相当于对矩阵$A$施行第一种初等行变换。

$|E(i,j)|=-1\ne 0$，所以是可逆的。因为$|E|=1$，对$E$交换两行或两列，行列式变号。

(2)以数$k\ne 0$乘单位阵的第$i$行(或第$i$列)，得初等矩阵

可以验知：以$E_m(i(k))$左乘矩阵$A$，其结果相当于以数$k$乘$A$的第$i$行$(r_i\times k)$；

行列式某行乘以某个数$k$，等于用$k$乘以此行列式，所以行列式不为零，可逆。

或因此矩阵是对角矩阵，行列式为$1\times 1\cdots \times k\cdots \times 1=k$。

(3) 以$k$乘$E$的第$j$行加到第$i$行上或以$k$乘$E$的第$i$列加到第$j$列上，得初等矩阵

可以验知：以$E_m(ij(k))$左乘矩阵$A$，其结果相当于把$A$的第$j$行乘$k$加到第$i$行$(r_i+k{r}_j)$。

得到的矩阵的行列式还是为$1\ne 0$，所以可逆。

归纳上面的讨论，可得

性质1 设$A$是一个$m\times n$矩阵，对$A$施行一次初等行变换，相当于在$A$的左边乘以相应的$m$阶初等矩阵；对$A$施行一次初等列变换，相当于在$A$的右边乘以相应的$n$阶初等矩阵。

性质2 方阵$A$可逆的充要条件是存在有限个初等矩阵$P_1,P_2,\cdots ,P_l$，使$A=P_1{P}_2\cdots P_l$。

证 先证充分性。设$A=P_1{P}_2\cdots P_l$，因初等矩阵可逆，有限个可逆矩阵的乘积仍可逆，故$A$可逆。

再证必要性 设$n$阶方阵$A$可逆，且$A$的标准形矩阵为$F$，由于$F\sim A$，知$F$经过有限次初等变换可化为$A$，即有初等矩阵$P_1,P_2,\cdots ,P_l$，使
$$A=P_1\cdots P_{s}F{P}_{s+1}\cdots P_l,$$
因为$A$可逆，所以$|A|=|P_1|\cdot |P_2|\cdot \cdots |P_l|\ne 0$，所以$|P_1|,|P_2|,\cdots ,|P_l|$都不等于零。

所以$P_1,\cdots ,P_l$也都可逆，故标准形矩阵$F$可逆。假设
F = ( E r O O O ) n × n F = (ErOOO)

_{n \times n} F=(Er​O​OO​)n×n​
中的$ r < n$，则$|F| =0$，与$F$可逆矛盾，因此必有$r=n$，即$F=E$，从而
$$A=P_1{P}_2\cdots P_l.$$

下面应用初等矩阵的知识来证明定理1。

定理1的证明

1. 依据$A\stackrel{r}{\sim }B$的定义和初等矩阵的性质，有
   $$\begin{array}{rl}A\stackrel{r}{\sim }B& \iff A经过有限次初等行变换变成B\\ & \iff 存在有限个m阶初等矩阵P_1,P_2,\cdots ,P_l，使P_l\cdots P_2{P}_{1}A=B\\ & \iff 存在m阶可逆矩阵P，使PA=B.\end{array}$$

类似可证明2. 3.

推论 方阵$A$可逆的充分必要条件是$A\stackrel{r}{\sim }E$。

证 $A$可逆 $\iff$ 存可逆阵$P$(即$A$的逆阵)，使$PA=E$，所以$A\stackrel{r}{\sim }E$。

定理1表明，如果$A\stackrel{r}{\sim }B$，即$A$经过一系列初等变换可以变为$B$，则有可逆矩阵$P$,使$PA=B$。那么，如何求出这个可逆矩阵$P$？

由于
P A = B ⇔ { P A = B , P E = P ⇔ P ( A , E ) = ( B , P ) ⇔ ( A , E ) ∼ r ( B , P ) PA=B \Leftrightarrow {PA=B,PE=P

\Leftrightarrow P(A,E) = (B,P) \Leftrightarrow (A,E) \overset{r}{\sim} (B,P) PA=B⇔{PA=B,PE=P​⇔P(A,E)=(B,P)⇔(A,E)∼r(B,P)
因此，如果对矩阵$(A,E)$作初等行变换，那么，当把$A$变为$B$时，$E$就变为$P$。

于是就得到了求逆矩阵的一种新方法。

矩阵的秩

定义 在$m\times n$的矩阵$A$中，任取$k$行与$k$列，位于这些行列交叉处的$k^2$个元素，不改变它们在$A$中所处的位置次序而得的$k$阶行列式，称为矩阵$A$的$k$阶子式。

$m\times n$矩阵$A$的$k$阶子式共有$C_m^k\cdot C_n^k$个。

定义 设在矩阵$A$中有一个不等于0的$r$阶子式$D$，且所有$r+1$阶子式(如果存在的话)全等于0，那么$D$称为矩阵$A$的最高阶非零子式，数$r$称为矩阵$A$的秩，记作$R(A)$。并规定零矩阵的秩等于0。

比如，我们上面知道，一个$m\times n$矩阵$A$，它的标准形
( E r O O O ) m × n (ErOOO)

_{m \times n} (Er​O​OO​)m×n​
由数$r$完全确定，这个数就是$A$的行阶梯形中非零行的行数，也就是矩阵$A$的秩。

显然，若$A$为$m\times n$矩阵，则 0 ≤ R ( A ) ≤ min ⁡ { m , n } 0 \leq R(A) \leq \min\{m,n\} 0≤R(A)≤min{m,n}

由于行列式与其转置行列式相等，因此$A^T$的子式与$A$的子式对应相等，从而$R(A^T)=R(A)$。

对于$n$阶矩阵$A$，由于$A$的$n$阶子式只有一个$|A|$，故当$|A|\ne 0$时$R(A)=n$；
当$|A|=0$时$R(A)<n$。

可见可逆矩阵的秩等于矩阵的阶数，不可逆矩阵的秩小于矩阵的阶数。因此，可逆矩阵又称为满秩矩阵，不可逆矩阵(奇异矩阵)又称为降秩矩阵。

定理2 若$A\sim B$，则$R(A)=R(B)$。
推论 若可逆矩阵$P,Q$使$PAQ=B$，则$R(A)=R(B)$。

秩的性质

1. $0\le R(A_{m\times n})\le \min |m,n|$
2. $R(A^T)=R(A)$
3. 若$A\sim B$，则$R(A)=R(B)$
4. 若$P$、$Q$可逆，则$R(PAQ)=R(A)$
5. max ⁡ { R ( A ) , R ( B ) } ≤ R ( A , B ) ≤ R ( A ) + R ( B ) \max \{R(A),R(B)\} \leq R(A,B) \leq R(A) + R(B) max{R(A),R(B)}≤R(A,B)≤R(A)+R(B)
   • 特别第，当$B=b$为非零列向量时，有
     $R(A)\le R(A,b)\le R(A)+1$
6. $R(A+B)\le R(A)+R(B)$
7. R ( A B ) ≤ min ⁡ { R ( A ) , R ( B ) } R(AB) \leq \min \{R(A),R(B) \} R(AB)≤min{R(A),R(B)}
8. 若$A_{m\times n}{B}_{n\times l}=O$，则$R(A)+R(B)\le n$

线性方程组的解

设有$n$个未知数$m$个方程的线性方程组
{ a 11 x 1 + a 12 x 2 + ⋯ + a 1 n x n = b 1 , a 21 x 1 + a 22 x 2 + ⋯ + a 2 n x n = b 2 , ⋯ a m 1 x 1 + a m 2 x 2 + ⋯ + a m n x n = b m , (3) {a11x1+a12x2+⋯+a1nxn=b1,a21x1+a22x2+⋯+a2nxn=b2,⋯am1x1+am2x2+⋯+amnxn=bm,

\tag{3} ⎩ ⎨ ⎧​a11​x1​+a12​x2​+⋯+a1n​xn​=b1​,a21​x1​+a22​x2​+⋯+a2n​xn​=b2​,⋯am1​x1​+am2​x2​+⋯+amn​xn​=bm​,​(3)

$(3)$式可以写成以向量$x$为未知元的向量方程
$$Ax=b,$$

定理3 $n$元线性方程组$Ax=b$

1. 无解的充分必要条件是$R(A)<R(A,b)$ (即出现了$0=b$的情况，其中$b\ne 0$)
2. 有唯一解的充分必要条件是$R(A)=R(A,b)=n$
3. 有无限多解的充分必要条件是$R(A)=R(A,b)<n$

这里的$n$是未知数的个数。

定理4 $n$元齐次线性方程组$Ax=0$有非零解的充分必要条件是$R(A)<n$
定理5 线性方程组$Ax=b$有解的充分必要条件是$R(A)=R(A,b)$

用克拉默法则来看的话，
如果$A$是方阵，$Ax=0$有非零解的条件是，$|A|=0$，即$R(A)<n$。

我们知道
逆矩阵存在 $\iff |A|\ne 0\iff R(A)=n$

正交性

标量积

两个$R^n$中的向量$x$和$y$可以看成是$n\times 1$矩阵。构造矩阵乘积$x^{T}y$。这个乘积为一个$1\times 1$矩阵，可看成是一个$R^1$中的向量，或一个实数(标量)。

乘积$x^{T}y$称为$x$和$y$的标量积(scalar product)或内积。

$$x^{T}y=||x||||y||cos\theta =\sum _{i=1}^n{x}_i{y}_i=⟨x,y⟩$$
如果$x^{T}y=0$，则称向量$x$和$y$为正交的。

内积空间

一个向量空间$V$上的内积为$V$上的运算，它将$V$中的向量$x$和$y$与一个实数$⟨x,y⟩$关联，并满足下列条件：

1. $⟨x,y⟩\ge 0$，等号成立的充要条件是$x=0$
2. 对$V$中所有的$x$和$y$，有 $⟨x,y⟩=⟨y,x⟩$
3. 对$V$中所有的$x,y,z$及所有的标量$\alpha ,\beta$，有 $⟨\alpha x+\beta y,z⟩=\alpha ⟨x,z⟩+\beta ⟨y,z⟩$

一个定义了内积的向量空间$V$称为内积空间。

正交集

定义 令$v_1,v_2,\cdots ,v_n$为一内积空间$V$中的非零向量。若$i\ne j$时有$⟨v_i,v_j⟩=0$，则 { v 1 , v 2 , ⋯   , v n } \{v_1,v_2,\cdots,v_n\} {v1​,v2​,⋯,vn​}称为向量的正交集。

定理 若$⟨v_i,v_j⟩=0$，则 { v 1 , v 2 , ⋯   , v n } \{v_1,v_2,\cdots,v_n\} {v1​,v2​,⋯,vn​}为一内积空间$V$中非零向量的正交集，则$v_1,v_2,\cdots ,v_n$是线性无关的。

规范正交

定义 规范正交的向量集合是单位向量的正交集。

集合 { u 1 , u 2 , ⋯   , u n } \{u_1,u_2,\cdots, u_n\} {u1​,u2​,⋯,un​}是规范正交集的充要条件为
$$⟨u_i,u_j⟩={\delta }_{ij}$$
其中
δ i j = { 1 当    i = j 0 当    i ≠ j \delta_{ij} = \left\{ 1当i=j0当i≠j

\right. δij​={10​当i=j当i=j​

说的是集合中任意两个向量做内积结果为$0$。

规范正交基

若 B = { u 1 , u 2 , ⋯   , u k } B=\{u_1,u_2,\cdots, u_k\} B={u1​,u2​,⋯,uk​}为一个内积空间$V$中的规范正交集，则$B$为子空间$S=\text{Span}(u_1,u_2,\cdots ,u_k)$的一组基。我们称$B$为$S$的一组规范正交基。

正交矩阵

定义 若一个$n\times n$矩阵$Q$的列向量构成$R^n$中的一组规范正交基，则称$Q$为正交矩阵。

定理 一个$n\times n$矩阵$Q$是正交矩阵的充要条件为$Q^{T}Q=I$。
由定理可得，若$Q$为一正交矩阵，则$Q$可逆，且$Q^{-1}=Q^T$。

性质 若$Q$为一个$n\times n$的正交矩阵，则：

1. $Q$的列向量构成了$R^n$的一组规范正交基
2. $Q^{T}Q=I$
3. $Q^T=Q^{-1}$
4. $⟨Qx,Qy⟩=⟨x,y⟩$
5. $||Qx|{|}_2=||x|{|}_2$

相似矩阵

正定矩阵与半正定矩阵

定义1 给定一个大小为$n\times n$的实对称矩阵$A$，若对于任意长度为$n$的非零向量$x$，有$x^{T}Ax>0$恒成立，则矩阵$A$是一个正定矩阵。

定义2 给定一个大小为$n\times n$的实对称矩阵$A$，若对于任意长度为$n$的非零向量$x$，有$x^{T}Ax\ge 0$恒成立，则矩阵$A$是一个半正定矩阵。

向量的内积

定义1 设有$n$为向量

x = ( x 1 x 2 ⋮ x n ) ,   y = ( y 1 y 2 ⋮ y n ) x = (x1x2⋮xn)

, \, y=(y1y2⋮yn) x=⎝ ⎛​x1​x2​⋮xn​​⎠ ⎞​,y=⎝ ⎛​y1​y2​⋮yn​​⎠ ⎞​

令
$$[x,y]=x_1{y}_1+x_2{y}_2+\cdots x_n{y}_n,$$
$[x,y]$称为向量$x$与$y$的内积(内积也叫点积，也可表示为$⟨x,y⟩$)。

内积是两个向量之间的一种运算，其结果是一个实数，用矩阵记号表示，当$x$与$y$都是列向量时，有
$$[x,y]=x^{T}y=y^{T}x$$

内积具有下列性质(其中$x,y,z$为$n$维向量，$\lambda$为实数)：

1. $[x,y]=[y,x]$
2. $[\lambda x,y]=\lambda [x,y]$
3. $[x+y,z]=[x,z]+[y,z]$
4. 当$x=0$时，$[x,x]=0$；当$x\ne 0$时，$[x,x]>0$

可以得到柯西不等式
$$[x,y{]}^2\le [x,x][y,y]$$

定义2 令
$$||x||=\sqrt{[x,]}=\sqrt{x_1^2+x_2^2+\cdots +x_n^2}$$
$||x||$称为$n$维向量$x$的长度(或范数)。

当$||x||=1$时，称$x$为单位向量。

向量的长度具有以下性质：

1. 非负性 当$x\ne 0$时，$||x||>0$；当$x=0$时，$||x||=0$
2. 齐次性 $||\lambda x||=|\lambda |||x||$
3. 三角不等式 $||x+y||\le ||x||+||y||$

当$[x,y]=0$时，称向量$x$与$y$正交。显然，若$x=0$，则$x$与任何向量都正交。

定理1 若$n$维向量$a_1,a_2,\cdots ,a_r$是一组两两正交的非零向量，则$a_1,a_2,\cdots ,a_r$线性无关。

若向量$a_1,a_2,a_3$线性无关，则它们互相不能用其他向量线性表示。

证 设有${\lambda }_1,{\lambda }_2,\cdots ,{\lambda }_r$使
$${\lambda }_1{a}_1+{\lambda }_1{a}_2+\cdots +{\lambda }_r{a}_r=0,$$
我们要证明${\lambda }_1={\lambda }_2=\cdots {\lambda }_r=0$。以$a_1^T$左乘上式两端，当$i\ge 2$时，$a_1^T{a}_i=0$，要使上式等于零，所以
$${\lambda }_1{a}_1^T{a}_1=0$$
因为$a_1\ne 0$，所以$a_1^T{a}_1\ne 0$，从而只能${\lambda }_1=0$，类似可以证明${\lambda }_2=0,\cdots ,{\lambda }_r=0$。

于是向量组$a_1,a_2,\cdots ,a_r$线性无关。

定义3 设$n$维向量$e_1,e_2,\cdots ,e_r$是向量空间$V$的一个基，如果$e_1,e_2,\cdots ,e_r$两两正交，且都是单位向量，则称$e_1,e_2,\cdots ,e_r$是$V$的一个规范正交基。

若$e_1,e_2,\cdots ,e_r$是$V$的一个规范正交基，那么$V$中任意向量$a$都能由$e_1,e_2,\cdots ,e_r$线性表示，设表示为

$$a={\lambda }_1{e}_1+{\lambda }_2{e}_2+\cdots +{\lambda }_r{e}_r$$

定义4 如果$n$阶矩阵$A$满足
$$A^{T}A=E(\text{即}{A}^{-1}=A^T)$$
那么称$A$为正交矩阵，简称正交阵。

$A^{T}A=E\Rightarrow |A^T||A|=1\Rightarrow A\text{可逆}\Rightarrow A^{-1}=A^T$

上式用$A$的列向量表示，即是
( a 1 T a 2 T ⋮ a n T ) ( a 1 , a 2 , ⋯   , a n ) = E , (aT1aT2⋮aTn)

(a_1,a_2,\cdots, a_n) =E, ⎝ ⎛​a1T​a2T​⋮anT​​⎠ ⎞​(a1​,a2​,⋯,an​)=E,
因为$A^{T}A=E$与$A{A}^T=E$等价，所以上述结论对$A$的行向量亦成立。

由此可见，$n$阶正交阵$A$的$n$个列(行)向量构成向量空间$R^n$的一个规范正交基。

方阵的特征值与特征向量

定义6 设$A$是$n$阶矩阵，如果数$\lambda$和$n$维非零列向量$x$使关系式
$$Ax=\lambda x\text{\hspace{1em}(1)}$$
成立，那么，这样的数$\lambda$称为矩阵$A$的特征值，非零向量$x$称为$A$的对应于特征值$\lambda$的特征向量。

$(1)$式也可以写成
$$(A-\lambda E)x=0$$
这是$n$个未知数$n$个方程的齐次线性方程组，它有非零解的充分必要条件是系数行列式
$$|A-\lambda E|=0,$$
即
∣ a 11 − λ a 12 ⋯ a 1 n a 21 a 22 − λ ⋯ a 2 n ⋮ ⋮ ⋮ a n 1 a n 2 ⋯ a n n − λ ∣ = 0 |a11−λa12⋯a1na21a22−λ⋯a2n⋮⋮⋮an1an2⋯ann−λ|

= 0 ∣ ∣​a11​−λa21​⋮an1​​a12​a22​−λ⋮an2​​⋯⋯⋯​a1n​a2n​⋮ann​−λ​∣ ∣​=0

$R(A)=R(A,b)<n$ 无穷解

上式是以$\lambda$为未知数的一元$n$次方程，称为矩阵$A$的特征方程。其左端$|A-\lambda E|$是$\lambda$的$n$次多项式，记作$f(\lambda )$，称为矩阵$A$的特征多项式。

设$n$阶矩阵$A=(a_{ij})$的特征值为${\lambda }_1,{\lambda }_2,\cdots ,{\lambda }_n$，有以下性质：

1. ${\lambda }_1+{\lambda }_2+\cdots +{\lambda }_n=a_{11}+a_{22}+\cdots +a_{nn}$
2. ${\lambda }_1{\lambda }_2\cdots {\lambda }_n=|A|$

设$\lambda ={\lambda }_i$为矩阵$A$的一个特征值，则由方程
$$(A-{\lambda }_{i}E)x=0$$
可求得非零解$x=p_i$，那么$p_i$便是$A$的对应于特征值${\lambda }_i$的特征向量。

例 设$\lambda$是方阵$A$的特征值，证明

1. ${\lambda }^2$是$A^2$的特征值
2. 当$A$可逆时，$\frac{1}{\lambda }$是$A^{-1}$的特征值。

证 因$\lambda$是$A$的特征值，故有$x\ne 0$使$Ax=\lambda x$。于是
(1) $A^{2}x=A(Ax)=A(\lambda x)=\lambda (Ax)={\lambda }^{2}x$,
所以${\lambda }^2$是$A^2$的特征值。
依此类推，不难证明：若$\lambda$是$A$的特征值，则${\lambda }^k$是$A^k$的特征值。
(2) 当$A$可逆时，由$Ax=\lambda x$，有$x=\lambda A^{-1}x$，因$x\ne 0$，知$\lambda \ne 0$，故
$$A^{-1}x=\frac{1}{\lambda }x，$$
所以$\frac{1}{\lambda }$是$A^{-1}$的特征值。

定理2 设${\lambda }_1,{\lambda }_2,\cdots ,{\lambda }_m$是方阵$A$的$m$个特征值，$p_1,p_2,\cdots ,p_m$依次是与之对应的特征向量，如果${\lambda }_1,{\lambda }_2,\cdots ,{\lambda }_m$各不相等，则$p_1,p_2,\cdots ,p_m$线性无关。

相似矩阵

定义7 设$A,B$都是$n$阶矩阵，若有可逆矩阵$P$，使
$$P^{-1}AP=B$$
则称$B$是$A$的相似矩阵，或说矩阵$A$与$B$相似。对$A$进行运算$P^{-1}A$称为对$A$进行相似变换。可逆矩阵$P$称为把$A$变成$B$的相似变换矩阵。

定理3 若$n$阶矩阵$A$与$B$相似，则$A$与$B$的特征多项式相同，从而$A$与$B$的特征值亦相同。
证 因$A$与$B$相似，即有可逆矩阵$P$,使$P^{-1}AP=B$，故
∣ B − λ E ∣ = ∣ P − 1 A P − λ P − 1 P ∣ = ∣ P − 1 ( A − λ E ) P ∣ = ∣ P − 1 ∣ ⋅ ∣ A − λ E ∣ ⋅ ∣ P ∣ = ∣ A − λ E ∣ |B−λE|=|P−1AP−λP−1P|=|P−1(A−λE)P|=|P−1|⋅|A−λE|⋅|P|=|A−λE|

∣B−λE∣​=∣P−1AP−λP−1P∣=∣P−1(A−λE)P∣=∣P−1∣⋅∣A−λE∣⋅∣P∣=∣A−λE∣​

推论 若$n$阶矩阵$A$与对角阵
Λ = [ λ 1 λ 2 ⋱ λ n ] \Lambda= [λ1λ2⋱λn]

Λ=⎣ ⎡​λ1​​λ2​​⋱​​λn​​⎦ ⎤​
相似，则${\lambda }_1,{\lambda }_2,\cdots ,{\lambda }_n$即是$A$的$n$个特征值。

下面我们要讨论的主要问题是：对$n$阶矩阵$A$，寻求相似变换矩阵$P$，使$P^{-1}AP=\Lambda$为对角阵，这就称为把矩阵$A$对角化。

假设已经找到可逆矩阵$P$,使$P^{-1}AP=\Lambda$为对角阵，我们来讨论$P$应满足什么关系。

把$P$用其列向量表示为
$$P=(p_1,p_2,\cdots ,p_n),$$
由$P^{-1}AP=\Lambda$，得$AP=P\Lambda$，即
A ( p 1 , p 2 , ⋯   , p n ) = ( p 1 , p 2 , ⋯   , p n ) [ λ 1 λ 2 ⋱ λ n ] = ( λ 1 p 1 , λ 2 p 2 , ⋯   , λ n p n ) , A(p1,p2,⋯,pn)=(p1,p2,⋯,pn)[λ1λ2⋱λn]=(λ1p1,λ2p2,⋯,λnpn),

A(p1​,p2​,⋯,pn​)​=(p1​,p2​,⋯,pn​)⎣ ⎡​λ1​​λ2​​⋱​​λn​​⎦ ⎤​=(λ1​p1​,λ2​p2​,⋯,λn​pn​),​
于是有
$$A{p}_i={\lambda }_i{p}_i(i=1,2,\cdots ,n).$$
可见${\lambda }_i$是$A$的特征值，而$P$的列向量$p_i$就是$A$的对应于特征值${\lambda }_i$的特征向量。

定理4 $n$阶矩阵$A$与对角阵相似(即$A$能对角化)的充分必要条件是$A$有$n$个线性无关的特征向量。

联系定理2,得

对称矩阵的对角化

定理5 对称阵的特征值为实数

证 设复数$\lambda$为对称阵$A$的特征值，复向量$x$为对应的特征向量，即$Ax=\lambda x,x\ne 0$。

用$\overline{\lambda }$表示$\lambda$的共轭复数，$\overline{x}$表示$x$的共轭复向量，而$A$为实矩阵，有$A=\overline{A}$，故

$A\overline{x}=\overline{A}\overline{x}=(\overline{Ax})=(\overline{\lambda x})=\overline{\lambda }\overline{x}$。于是有
$${\overline{x}}^{T}Ax={\overline{x}}^T(Ax)={\overline{x}}^T\lambda x=\lambda {\overline{x}}^{T}x,$$

及
$${\overline{x}}^{T}Ax=({\overline{x}}^T{A}^T)x=(A\overline{x}{)}^{T}x=(\overline{\lambda }\overline{x}{)}^{T}x=\overline{\lambda }{\overline{x}}^{T}x,$$
两式相减，得
$$(\lambda -\overline{\lambda }){\overline{x}}^{T}x=0,$$
因$x\ne 0$，所以
$${\overline{x}}^{T}x=\sum _{i=1}{\overline{x}}_i{x}_i=\sum _{i=1}|x_i{|}^2\ne 0,$$
故$\lambda -\overline{\lambda }=0$，即$\lambda =\overline{\lambda }$，说明$\lambda$是实数。

定理6 设${\lambda }_1,{\lambda }_2$是对称阵$A$的两个特征值，$p_1,p_2$是对应的特征向量。若${\lambda }_1\ne {\lambda }_2$，则$p_1,p_2$正交。

证 ${\lambda }_1{p}_1=A{p}_1,{\lambda }_2{p}_2=A{p}_2,{\lambda }_1\ne {\lambda }_2$。

因$A$对称，故${\lambda }_1{p}_1^T=({\lambda }_1{p}_1{)}^T=(A{p}_1{)}^T=p_1^T{A}^T=p_1^{T}A$，于是
$${\lambda }_1{p}_1^T{p}_2=p_1^{T}A{p}_2=p_1^T({\lambda }_2{p}_2)={\lambda }_2{p}_1^T{p}_2,$$
即
$$({\lambda }_1-{\lambda }_2)p_1^T{p}_2=0.$$
因为${\lambda }_1\ne {\lambda }_2$，故$p_1^T{p}_2=0$,即$p_1,p_2$正交。

定理7 设$A$是$n$阶对称阵，则必有正交阵$P$，使$P^{-1}AP=P^{T}AP=\Lambda$，其中$\Lambda$是以$A$的$n$个特征值为对角元的对角阵。

推论 设$A$为$n$阶对称阵，$\lambda$是$A$的特征方程的$k$重根，则矩阵$A-\lambda E$的秩$R(A-\lambda E)=n-k$，从而对应特征值$\lambda$恰有$k$个线性无关的特征向量。

二次型及其标准形

使二次型只含平方项，也就是用$(7)$带入$(5)$，能使
$$f=k_1{y}_1^2+k_2{y}_2^2+\cdots +k_n{y}_n^2,$$
这种只含平方项的二次型，称为二次型的标形型(或法式)。

如果标准形的系数$k_1,k_2,\cdots ,k_n$只在$1,-1,0$三个数中取值，也就是用$(7)$代入$(5)$，能使
$$f=y_1^2+\cdots +y_p^2-y_{p+1}^2-\cdots -y_r^2,$$
则称上式为二次型的规范形。

则二次型可记作
$$f=x^{T}Ax,\text{\hspace{1em}(8)}$$
其中$A$为对称阵。

如果$f(x)\ge 0$，则是半正定。

更新记录

• 2021-05-25 补充单位矩阵、奇异矩阵
• 2021-05-26 新增标准基、正交性
• 2021-05-27 新增特征值
• 2021-06-05 新增实对称矩阵定理
• 2021-06-19 新值行列式

参考

1. 《线性代数》 利昂著
2. 《线性代数》 同济大学第五版
3. 维基百科