线性代数学习笔记7-5：复习——正交、投影、行列式、特征值

内容回顾

投影与正交

1. 向量到子空间的投影
   用于在方程Ax=b无解时，将b向量投影到A的列空间中，求“最优解”，对应最小二乘法LS
2. Gram-Schmidt正交化
   希望从一组基得到标准正交基，方法是先固定一个基向量，从另一基向量中减去其对已固定的正交基向量的投影，得到的新向量就和已固定的基向量正交，以此类推…最终得到一组正交基向量（最后要除以长度，实现标准化）
3. 正交矩阵$\mathbf{Q}$：就是列向量为一组标准正交基的矩阵
   满足${\mathbf{Q}}^T\mathbf{Q}=I$
   （理解：其中$\mathbf{Q}$的各个列向量标准正交，从而有${\mathbf{q}}_i^T{\mathbf{q}}_i=1$和${\mathbf{q}}_i^T{\mathbf{q}}_j=0(i\ne j)$）

行列式$det(\mathbf{A})$

1. 三个基本性质定义了行列式，其余性质可由它们推导
2. 通过性质的推导，计算行列式可以分解为$n!$个「只有n个非零元素，且每行/每列都有非零元素」的行列式，也可以用推论得出的代数余子式计算：$\det (\mathbf{A})=a_{11}{\mathrm{C}}_{11}+a_{12}{\mathrm{C}}_{12}+\cdots +a_{1\mathrm{n}}{\mathrm{C}}_{1\mathrm{n}}$
3. 可以计算行列式后，进一步得到逆矩阵的公式${\mathbf{A}}^{-1}=\frac{{\mathbf{A}}^{\ast }}{|\mathbf{A}|}$，并得到方程的克莱姆法则

特征值和特征向量

1. 求特征值和特征向量的通用方法：$det(\mathbf{A}-\lambda \mathbf{I})=0$解得$\lambda$后求特征向量
2. 若有n个无关的特征向量，则可实施对角化$\mathbf{A}=\mathbf{S}\mathbf{\Lambda }{\mathbf{S}}^{-1}$
   由此可以简便的计算矩阵的幂：${\mathbf{A}}^k={\left(\mathbf{S}\mathbf{\Lambda }{\mathbf{S}}^{-1}\right)}^k=\mathbf{S}{\mathbf{\Lambda }}^k{\mathbf{S}}^{-1}$
3. 若$\mathbf{A}$为对称矩阵，后面还将知道，对角化得到正交矩阵$\mathbf{A}=\mathbf{Q}\mathbf{\Lambda }{\mathbf{Q}}^{-1}=\mathbf{Q}\mathbf{\Lambda }{\mathbf{Q}}^T$
   原因：对称矩阵的特征向量正交，而正交矩阵满足${\mathbf{Q}}^{-1}={\mathbf{Q}}^T$

例题

Eg1. 投影

对于 a = [ 2 1 2 ] \mathbf{a}=\left[

\right] a=⎣ ⎡​212​⎦ ⎤​，求将任意向量投影到$\mathbf{a}$所处直线的投影矩阵$\mathbf{P}$

• 根据$\mathbf{P}=\mathbf{A}{\left({\mathbf{A}}^T\mathbf{A}\right)}^{-1}{\mathbf{A}}^T$可得： P = a a T a T a = 1 9 [ 4 2 4 2 1 2 4 2 4 ] \boldsymbol{P}=\frac{\mathbf{a} a^{T}}{\mathbf{a}^{T} \mathbf{a}}=\frac{1}{9}\left[
  424212424" role="presentation" style="position: relative;">424212424$$\begin{array}{lll}4& 2& 4\\ 2& 1& 2\\ 4& 2& 4\end{array}$$
  \right] P=aTaaaT​=91​⎣ ⎡​424​212​424​⎦ ⎤​

对于投影矩阵$\mathbf{P}$，求列空间、秩、特征值和特征向量

• 由于是投影到$\mathbf{a}$所处直线的投影矩阵，$\mathbf{P}$的列空间就是$\mathbf{a}$所处直线，进而$Rank(\mathbf{P})=1$
• 由于是投影到直线，$\mathbf{P}$必然对应降维的线性变换，从而必然有特征值$\lambda =0$，并且为二重特征值（从三维到一维）；
  另一方面，$trace(\mathbf{P})=$特征值之和=对角元之和=1，得到所有三个特征值${\lambda }_1=0,{\lambda }_2=0,{\lambda }_3=1$
• 由于是投影矩阵$\mathbf{P}$，特征值${\lambda }_3=1$对应的特征向量，就是 a = [ 2 1 2 ] \mathbf{a}=\left[
  212" role="presentation" style="position: relative;">212$$\begin{array}{l}2\\ 1\\ 2\end{array}$$
  \right] a=⎣ ⎡​212​⎦ ⎤​（投影后$\mathbf{P}\mathbf{a}=\mathbf{a}$）

Eg1-2 差分方程

（接上一题）对于方程${\mathbf{u}}_{k+1}=\mathbf{P}{\mathbf{u}}_k$，（初值 u 0 = [ 9 9 0 ] \mathbf{u} 0=\left[

\right] u0=⎣ ⎡​990​⎦ ⎤​），求${\mathbf{u}}_k$

• 解法1：由于是投影矩阵，无论投影多少次，都等效于只投影一次，即${\mathbf{P}}^k{\mathbf{u}}_0=\mathbf{P}{\mathbf{u}}_0$，故 u k + 1 = P k u 0 = P u 0 = [ 6 3 6 ] \mathbf{u}_{k+1}=\boldsymbol{P}^{k} \mathbf{u}_{0}=\boldsymbol{P} \mathbf{u}_{0} =\left[
  636" role="presentation" style="position: relative;">636$$\begin{array}{l}6\\ 3\\ 6\end{array}$$
  \right] uk+1​=Pku0​=Pu0​=⎣ ⎡​636​⎦ ⎤​
• 通用解法：对于一般的${\mathbf{u}}_{k+1}=\mathbf{A}{\mathbf{u}}_k$问题，思路是将初值${\mathbf{u}}_0$拆为特征向量的线性组合（矩阵幂后，只是对特征向量的多次缩放），即${\mathbf{u}}_0=c_1{\mathbf{x}}_1+c_2{\mathbf{x}}_2+c_3{\mathbf{x}}_3$，
  那么最终的解就是${\mathbf{u}}_k=c_1{\lambda }_1{}^k{\mathbf{x}}_1+c_2{\lambda }_2{}^k{\mathbf{x}}_2+c_3{\lambda }_3{}^k{\mathbf{x}}_3$
  而本例中${\lambda }_1=0,{\lambda }_2=0,{\lambda }_3=1$，只有一项

Eg2 投影

给出一系列对称矩阵 A 2 = [ 0 1 1 0 ] , A 3 = [ 0 1 0 1 0 2 0 2 0 ] , A 4 = [ 0 1 0 0 1 0 2 0 0 2 0 3 0 0 3 0 ] \boldsymbol{A}_{2}=\left[

\right], \boldsymbol{A}_{3}=\left[\right], \boldsymbol{A}_{4}=\left[\right] A2​=[01​10​],A3​=⎣ ⎡​010​102​020​⎦ ⎤​,A4​=⎣ ⎡​0100​1020​0203​0030​⎦ ⎤​
希望将向量投影到${\mathbf{A}}_3$列空间，求投影矩阵$\mathbf{P}$

求投影矩阵，首先看$\mathbf{A}$是否可逆：
若$\mathbf{A}$可逆，投影矩阵$\mathbf{P}=\mathbf{I}$（因为${\mathbf{A}}_3$的列空间张成整个空间；任意向量$\mathbf{v}$对整个空间的投影，就是该向量本身$\mathbf{P}\mathbf{v}=\mathbf{v}$，$\mathbf{P}=\mathbf{I}$）
若$\mathbf{A}$不可逆/奇异，再使用通用的投影矩阵公式$\mathbf{P}=\mathbf{A}{\left({\mathbf{A}}^T\mathbf{A}\right)}^{-1}{\mathbf{A}}^T$

• 由于${\mathbf{A}}_3$不可逆（第一行和第三行成倍数），投影矩阵 P = A ( A T A ) − 1 A T = [ 1 / 5 0 2 / 5 0 1 0 2 / 5 0 4 / 5 ] \boldsymbol{P}=\boldsymbol{A}\left(\boldsymbol{A}^{T} \boldsymbol{A}\right)^{-1} \boldsymbol{A}^{T}=\left[
  1/502/50102/504/5" role="presentation" style="position: relative;">1/502/50102/504/5$$\begin{array}{rrr}1/5& 0& 2/5\\ 0& 1& 0\\ 2/5& 0& 4/5\end{array}$$
  \right] P=A(ATA)−1AT=⎣ ⎡​1/502/5​010​2/504/5​⎦ ⎤​

希望将向量投影到${\mathbf{A}}_4$列空间，求投影矩阵$\mathbf{P}$

• 由于${\mathbf{A}}_4$可逆（$det({\mathbf{A}}_4)=9$），${\mathbf{A}}_4$列空间就是整个空间本身，投影矩阵$\mathbf{P}=\mathbf{I}$

另外，对于这一系列矩阵，我们可以得到一个大胆猜想：奇数序号的${\mathbf{A}}_n$不可逆，偶数序号的${\mathbf{A}}_n$可逆

Eg3 特征值

一个四阶方阵$\mathbf{A}$的特征值为${\lambda }_1,{\lambda }_2,{\lambda }_3,{\lambda }_4$，求$\mathbf{A}$何时可逆

• 可逆，则对应于“不降维”的线性变换，从而要求所有特征值$\lambda \ne 0$

求$\det \left({\mathbf{A}}^{-1}\right)$

• 由于$\det \left({\mathbf{A}}^{-1}\right)$和$\mathbf{A}$的特征值互为倒数，则$\det \left({\mathbf{A}}^{-1}\right)=\left(\frac{1}{{\lambda }_1}\right)\left(\frac{1}{{\lambda }_2}\right)\left(\frac{1}{{\lambda }_3}\right)\left(\frac{1}{{\lambda }_4}\right)$

求$trace(\mathbf{A}+\mathbf{I})$

• 求$(\mathbf{A}+\mathbf{I})$的特征值：由$det(\mathbf{A}+\mathbf{I}-\lambda \mathbf{I})=0$，$(\mathbf{A}+\mathbf{I})$的特征值刚好就是${\lambda }_1+1,{\lambda }_2+1,{\lambda }_3+1,{\lambda }_4+1$，故$trace(\mathbf{A}+\mathbf{I})={\lambda }_1+{\lambda }_2+{\lambda }_3+{\lambda }_4+4$

Eg4 差分方程

已知二阶差分方程$D_n=D_{n-1}-D_{n-2}$和初值$D_0$，求$D_k$
我们将 [ D n D n − 1 ] \left[

\right] [Dn​Dn−1​​]视为新的变量，从而改写为一阶差分方程 [ D n D n − 1 ] = [ 1 − 1 1 0 ] [ D n − 1 D n − 2 ] \left[

DnDn−1" role="presentation" style="position: relative;">DnDn−1$$\begin{array}{c}{D}_n\\ D_{n-1}\end{array}$$

\right] =\left[

1−110" role="presentation" style="position: relative;">11−10$$\begin{array}{cc}1& -1\\ 1& 0\end{array}$$

\right] \left[

Dn−1Dn−2" role="presentation" style="position: relative;">Dn−1Dn−2$$\begin{array}{l}{D}_{n-1}\\ D_{n-2}\end{array}$$

\right] [Dn​Dn−1​​]=[11​−10​][Dn−1​Dn−2​​]

那么，再次回到上面的矩阵幂问题：已知${\mathbf{u}}_{k+1}=\mathbf{A}{\mathbf{u}}_k$和初值${\mathbf{u}}_0$，求${\mathbf{u}}_k={\mathbf{A}}^k{\mathbf{u}}_0$；（ A = [ 1 − 1 1 0 ] \boldsymbol{A}=\left[

1−110" role="presentation" style="position: relative;">11−10$$\begin{array}{cc}1& -1\\ 1& 0\end{array}$$

\right] A=[11​−10​]）
求解方法是，先拆分${\mathbf{u}}_0=c_1{\mathbf{x}}_1+c_2{\mathbf{x}}_2+c_3{\mathbf{x}}_3$，那么最终的解就是${\mathbf{u}}_k=c_1{\lambda }_1{}^k{\mathbf{x}}_1+c_2{\lambda }_2{}^k{\mathbf{x}}_2+c_3{\lambda }_3{}^k{\mathbf{x}}_3$

• 解： A = [ 1 − 1 1 0 ] \boldsymbol{A}=\left[
  1−110" role="presentation" style="position: relative;">11−10$$\begin{array}{cc}1& -1\\ 1& 0\end{array}$$
  \right] A=[11​−10​]，特征值和特征向量为${\lambda }_1=\frac{1+\sqrt{3}i}{2},{\lambda }_2=\frac{1-\sqrt{3}i}{2}$

关于“稳态”之前说过，对于实数特征值，特征值$|{\lambda }_i|<1$的项最终会消失，特征值$|{\lambda }_i|=1$的项恒定，特征值$|{\lambda }_i|>1$的项最终不断增长
对于复数特征值，虚部引入了复平面上的“旋转”，故特征值的幅值仍然确定稳态，而相位则对应了每次做矩阵乘法时特征向量的旋转角度

• 因此，根据欧拉公式$e^{j\varphi }=cos\varphi +jsin\varphi$，可以将特征向量视为${\lambda }_1=e^{i\pi /3},{\lambda }_2=e^{-i\pi /3}$，其幅值都为1，因此${\mathbf{A}}^k{\mathbf{u}}_0$中对应的特征向量不会消失也不会无限增大，仅是在不断旋转；并且显然${\lambda }_1^6={\lambda }_2^6=1$，即每六次旋转回到实轴上，这说明${\mathbf{A}}^6=\mathbf{I}$（因为${\mathbf{u}}_6={\mathbf{A}}^6{\mathbf{u}}_0=c_1{\lambda }_1{}^6{\mathbf{x}}_1+c_2{\lambda }_2{}^6{\mathbf{x}}_2+c_3{\lambda }_3{}^6{\mathbf{x}}_3=c_1{\mathbf{x}}_1+c_2{\mathbf{x}}_2+c_3{\mathbf{x}}_3={\mathbf{u}}^0$）
• 对于${\mathbf{u}}_k={\mathbf{A}}^k{\mathbf{u}}_0$，最终可以得出${\mathbf{u}}_k$序列既不发散也不收敛，而是以6为周期不停循环（1,0,-1,0,1,1）

Eg5 微分方程

求解微分方程 d u d x = A u = [ 0 − 1 0 1 0 − 1 0 1 0 ] u \frac{d \mathbf{u}}{d x}=\boldsymbol{A} \mathbf{u}=\left[

\right] \mathbf{u} dxdu​=Au=⎣ ⎡​010​−101​0−10​⎦ ⎤​u

• 求其通解的形式？
  通解形式为$\mathbf{u}(t)=c_1{e}^{{\lambda }_{1}t}{x}_1+c_2{e}^{{\lambda }_{2}t}{x}_2+c_3{e}^{{\lambda }_{3}t}{x}_3$，我们需要进一步求特征值和特征向量
  最终求得 A = [ 0 − 1 0 1 0 − 1 0 1 0 ] \boldsymbol{A}=\left[
  0−1010−1010" role="presentation" style="position: relative;">010−1010−10$$\begin{array}{rrr}0& -1& 0\\ 1& 0& -1\\ 0& 1& 0\end{array}$$
  \right] A=⎣ ⎡​010​−101​0−10​⎦ ⎤​的特征值${\lambda }_1=0,{\lambda }_2=\sqrt{2}i,{\lambda }_3=-\sqrt{2}i$（奇异阵，必然有特征值为0）
  和特征向量 x 1 = [ 1 0 1 ] , x 2 = [ − 1 2 i 1 ] , x 3 = [ 1 2 i − 1 ] \mathbf{x} 1=\left[
  101" role="presentation" style="position: relative;">101$$\begin{array}{l}1\\ 0\\ 1\end{array}$$
  \right], \mathbf{x}_2=\left[
  −12i1" role="presentation" style="position: relative;">−12–√i1$$\begin{array}{r}-1\\ \sqrt{2}i\\ 1\end{array}$$
  \right], \mathbf{x} 3=\left[
  12i−1" role="presentation" style="position: relative;">12–√i−1$$\begin{array}{r}1\\ \sqrt{2}i\\ -1\end{array}$$
  \right] x1=⎣ ⎡​101​⎦ ⎤​,x2​=⎣ ⎡​−12 ​i1​⎦ ⎤​,x3=⎣ ⎡​12 ​i−1​⎦ ⎤​（反对称阵/以及对称阵，满足${\mathbf{A}}^T\mathbf{A}=\mathbf{A}{\mathbf{A}}^T$，具有正交的特征向量，可以做内积验证其正交性，但注意复向量的内积要取共轭）
  通解：$\mathbf{u}(t)=c_1{x}_1+c_2{e}^{\sqrt{2}it}{x}_2+c_3{e}^{-\sqrt{2}it}{x}_3$，其中$x_i$为三个特征向量
• 通解收敛还是发散？

将$e^{{\lambda }_{1}t}$视为$A{e}^{j\varphi }$的形式，则实部 R e { λ } Re\{\lambda\} Re{λ}决定了稳定性（即决定幅值的增长速度，因为$|e^{a+jb}|=|e^a||e^{jb}|=|e^a|$），虚部 I m { λ } Im\{\lambda\} Im{λ}对应了单位圆上的相位旋转
R e { λ } > 0 Re\{\lambda\}>0 Re{λ}>0，对应项发散； R e { λ } = 0 Re\{\lambda\}=0 Re{λ}=0，对应项幅值稳定不变； R e { λ } < 0 Re\{\lambda\}<0 Re{λ}<0，对应项消失（$t\to \infty 时\mathbf{u}(\mathrm{t})\to 0$）

既不收敛也不发散，因为${\lambda }_1=0,{\lambda }_2=\sqrt{2}i,{\lambda }_3=-\sqrt{2}i$
所有 R e { λ } = 0 Re\{\lambda\}=0 Re{λ}=0，对应项幅值稳定不变；
另外，虚部对应单位圆上的旋转，故$\mathbf{u}(t)$以周期$T=\sqrt{2}\pi$循环（满足$\sqrt{2}iT=2\pi i$）

• 如果从另一角度求解方程，通解为$\mathbf{u}(t)=e^{\mathbf{A}t}\mathbf{u}(0)$，求其中的$e^{\mathbf{A}t}$
  解：假如$\mathbf{A}=\mathbf{S}\mathbf{\Lambda }{\mathbf{S}}^{-1}$，则$e^{\mathbf{A}t}=\mathbf{S}{e}^{\mathbf{\Lambda }t}{\mathbf{S}}^{-1}$
  其中 e Λ t = [ e λ 1 t 0 ⋯ 0 0 e λ 2 t 0 ⋮ ⋱ ⋮ 0 ⋯ 0 e λ n t ] e^{\boldsymbol{\Lambda} t} =\left[
  eλ1t0⋯00eλ2t0⋮⋱⋮0⋯0eλnt" role="presentation" style="position: relative;">eλ1t0⋮00eλ2t⋯⋯⋱000⋮eλnt$$\begin{array}{cccc}{e}^{{\lambda }_{1}t}& 0& \cdots & 0\\ 0& e^{{\lambda }_{2}t}& & 0\\ ⋮& & \ddots & ⋮\\ 0& \cdots & 0& e^{{\lambda }_{n}t}\end{array}$$
  \right] eΛt=⎣ ⎡​eλ1​t0⋮0​0eλ2​t⋯​⋯⋱0​00⋮eλn​t​⎦ ⎤​
  可见，两种角度得到的解是相同的

从另一个角度（方程解耦）求解微分方程
（前提：若$\mathbf{A}$有n个无关的特征向量方程，矩阵可以对角化$\mathbf{A}=\mathbf{S}\mathbf{\Lambda }{\mathbf{S}}^{-1}$）
$\frac{d\mathbf{u}}{dt}=\mathbf{A}\mathbf{u}$的解解就是$\mathbf{u}(t)=e^{\mathbf{A}t}\mathbf{u}(0)$，其中$e^{\mathbf{A}t}=\mathbf{S}{e}^{\mathbf{\Lambda }t}{\mathbf{S}}^{-1}$，意义是坐标变换