线性代数学习笔记7-2：矩阵对角化、求矩阵的幂、求一阶差分方程和Fibonacci数列（特征值的应用）

知道如何求解特征值后，下面介绍特征值的具体应用

类似消元法的LU分解、施密特正交化的QR分解，特征值部分可以引出对角化分解，但注意对角化的前提在于，矩阵A必须具有n个线性无关的特征向量（可能有/没有重复的特征值，没有重根$\Rightarrow$n个线性无关的特征向量，必要不充分条件）

ps. 当矩阵不具有n个线性无关的特征向量，则无法对角化，但可以三角化

矩阵对角化

假设已经找到所有特征向量，将它们作为列向量构成矩阵 S = [ x 1 x 2 ⋯ x n ] \boldsymbol{S}=\left[

\right] S=[x1​​x2​​⋯​xn​​]
那么，根据特征值的特点，有 A S = A [ x 1 x 2 ⋯ x n ] = [ λ 1 x 1 λ 2 x 2 ⋯ λ n x n ] = [ x 1 x 2 ⋯ x n ] [ λ 1 0 ⋯ 0 0 λ 2 0 ⋮ ⋱ ⋮ 0 ⋯ 0 λ n ] = S Λ

AS=A[x1x2⋯xn]=[λ1x1λ2x2⋯λnxn]=[x1x2⋯xn][λ10⋯00λ20⋮⋱⋮0⋯0λn]=SΛ" role="presentation">AS=A[x1x2⋯xn]=[λ1x1λ2x2⋯λnxn]=[x1x2⋯xn]⎡⎣⎢⎢⎢⎢⎢λ10⋮00λ2⋯⋯⋱000⋮λn⎤⎦⎥⎥⎥⎥⎥=SΛ$$\begin{array}{rl}\mathit{A}\mathit{S}& =\mathit{A}\left[\begin{array}{llll}{\mathbf{x}}_1& {\mathbf{x}}_2& \cdots & {\mathbf{x}}_{\mathrm{n}}\end{array}\right]\\ & =\left[\begin{array}{llll}{\lambda }_1{\mathbf{x}}_1& {\lambda }_2{\mathbf{x}}_2& \cdots & {\lambda }_{\mathrm{n}}{\mathbf{x}}_{\mathrm{n}}\end{array}\right]\\ & =\left[\begin{array}{llll}{\mathbf{x}}_1& {\mathbf{x}}_2& \cdots & {\mathbf{x}}_{\mathrm{n}}\end{array}\right]\left[\begin{array}{cccc}{\lambda }_1& 0& \cdots & 0\\ 0& {\lambda }_2& & 0\\ ⋮& & \ddots & ⋮\\ 0& \cdots & 0& {\lambda }_{\mathrm{n}}\end{array}\right]\\ & =\mathit{S}\mathbf{\Lambda }\end{array}$$

AS​=A[x1​​x2​​⋯​xn​​]=[λ1​x1​​λ2​x2​​⋯​λn​xn​​]=[x1​​x2​​⋯​xn​​]⎣⎢⎢⎢⎡​λ1​0⋮0​0λ2​⋯​⋯⋱0​00⋮λn​​⎦⎥⎥⎥⎤​=SΛ​
其中，所有特征值作为对角元，组成矩阵 Λ = [ λ 1 0 ⋯ 0 0 λ 2 0 ⋮ ⋱ ⋮ 0 ⋯ 0 λ n ] \boldsymbol{\Lambda}=\left[

λ10⋯00λ20⋮⋱⋮0⋯0λn" role="presentation" style="position: relative;">λ10⋮00λ2⋯⋯⋱000⋮λn$$\begin{array}{cccc}{\lambda }_1& 0& \cdots & 0\\ 0& {\lambda }_2& & 0\\ ⋮& & \ddots & ⋮\\ 0& \cdots & 0& {\lambda }_{\mathrm{n}}\end{array}$$

\right] Λ=⎣⎢⎢⎢⎡​λ1​0⋮0​0λ2​⋯​⋯⋱0​00⋮λn​​⎦⎥⎥⎥⎤​

再次强调，上述操作的前提是，矩阵A必须具有n个线性无关的特征向量，这样才保证$\mathbf{S}$可逆
最终，矩阵对角化表示为$$\mathbf{A}=\mathbf{S}\mathbf{\Lambda }{\mathbf{S}}^{-1}$$

之前说过，若矩阵$\mathbf{A}$经过初等变换能得到矩阵$\mathbf{B}$，则$\mathbf{A}$与$\mathbf{B}$等价（相抵），记为$\mathbf{A}\cong \mathbf{B}$
任何矩阵，有唯一的相抵标准形 A ≅ ( Ir ⁡ 0 0 0 ) \mathbf A\cong\left(

Ir000" role="presentation" style="position: relative;">Ir000$$\begin{array}{cc}\mathrm{Ir}& 0\\ 0& 0\end{array}$$

\right) A≅(Ir0​00​)，从而行秩=列秩
消元和列操作能得到“相抵标准型”（只保留了最内核的秩信息），而这里得到“相似标准形”（保有矩阵操作的基本性质——特征值）

可以相似对角化的前提条件：

• $n阶方阵\mathbf{A}\sim 对角矩阵⟺\mathbf{A}有n个线性无关的特征向量$（这条是可相似对角化的本质核心，后面都是推论）
• $n阶方阵\mathbf{A}\sim 对角矩阵diag({\lambda }_1,{\lambda }_2,...,{\lambda }_n)\Rightarrow {\lambda }_1,{\lambda }_2,...,{\lambda }_n就是\mathbf{A}的全部特征值$
• 上两条的推论：$$\begin{gathered} n阶方阵\mathbf{A}\sim 对角矩阵⟺ \\ \mathbf{A}的每个k_i重特征值的特征子空间维数都为k_i⟺ \\ \mathbf{A}的每个k_i重特征值都对应k_i个线性无关的特征向量⟺ \\ \mathbf{A}的每个k_i重特征值{\lambda }_i都满足Rank({\lambda }_{\mathbf{i}}\mathbf{I}-\mathbf{A})=k_i \end{gathered}$$
• $n阶方阵\mathbf{A}的特征值都不相同/都是单根\Rightarrow A\sim 对角矩阵$
  (相当于所有特征向量都线性无关)
• 一个特别的情况：
  $n阶方阵\mathbf{A}是实对称矩阵\Rightarrow A\sim 对角矩阵$

另外，方阵$\mathbf{A}$为实对称矩阵的情况下，其特性带来一些特殊的性质：

• n阶实对称矩阵$\mathbf{A}$的特征值都是实数，且不同特征值对应的特征向量相互正交（实对称矩阵一定有$n$个无关正交向量）
• 实对称矩阵正交相似于对角矩阵：n阶实对称矩阵$\mathbf{A}$在相似对角化时，一定存在一个正交矩阵$\mathbf{C}$，可以用于“变换坐标系”，即${\mathbf{C}}^{-1}\mathbf{A}\mathbf{C}=diag({\lambda }_1,{\lambda }_2,...,{\lambda }_n)$

应用：矩阵的幂

对角化的应用之一，就是为我们提供了新的视角来看待矩阵的幂（前提：矩阵A具有n个线性无关的特征向量）
由于$\mathbf{A}=\mathbf{S}\mathbf{\Lambda }{\mathbf{S}}^{-1}$，我们都能轻易得到$\mathbf{A}$的$k$次幂的${\mathbf{A}}^k$的信息：$${\mathbf{A}}^k=(\mathbf{S}\mathbf{\Lambda }{\mathbf{S}}^{-1})(\mathbf{S}\mathbf{\Lambda }{\mathbf{S}}^{-1})...(\mathbf{S}\mathbf{\Lambda }{\mathbf{S}}^{-1})=\mathbf{S}{\mathbf{\Lambda }}^k{\mathbf{S}}^{-1}$$这就是说：

• ${\mathbf{A}}^k$的特征向量与$\mathbf{A}$相同，而对应的特征值变为$\mathbf{\Lambda }$的幂次${\mathbf{\Lambda }}^k$
• 矩阵的幂乘以向量${\mathbf{A}}^k{\mathbf{u}}_0$，可以简化表示为通式$${\mathbf{A}}^k{\mathbf{u}}_0=\mathbf{S}{\mathbf{\Lambda }}^k{\mathbf{S}}^{-1}\mathbf{S}\mathbf{c}=\mathbf{S}{\mathbf{\Lambda }}^k\mathbf{c}=c_1{\lambda }_1^k{\mathbf{x}}_1+c_2{\lambda }_2^k{\mathbf{x}}_2+\dots +c_n{\lambda }_n^k{\mathbf{x}}_n$$
  其中需要将${\mathbf{u}}_0$表示为特征向量的线性组合${\mathbf{u}}_0=\mathbf{S}\mathbf{c}$，并且注意前提是需要一整套线性无关的特征向量/或者说特征向量矩阵$\mathbf{S}$可逆（否则无法保证任意${\mathbf{u}}_0$都可以被拆解）
  具体细节后文会介绍

推论：

• 若矩阵A具有n个线性无关的特征向量，如果其所有特征值$|{\lambda }_i|<1$，则$k\to \infty 时{\mathbf{A}}^k\to 0$（因为${\mathbf{\Lambda }}^k\to 0$，故${\mathbf{A}}^k=\mathbf{S}{\mathbf{\Lambda }}^k{\mathbf{S}}^{-1}\to 0$）

应用：求差分方程

对于一个一阶差分方程（${\mathbf{u}}_k$为向量，$\mathbf{A}$为系数矩阵）$${\mathbf{u}}_{k+1}=\mathbf{A}{\mathbf{u}}_k$$后一项由前一项${\mathbf{u}}_k$给出，已知条件是初始的${\mathbf{u}}_0$，现在希望求${\mathbf{u}}_k$

首先，很容易求解得到${\mathbf{u}}_k={\mathbf{A}}^k{\mathbf{u}}_0$，然而这样形式的解没有实际意义（仍需要计算大量矩阵的幂）

注意这里再次出现「矩阵的幂」，那么容易想到进行对角化，向特征值和特征向量上靠拢
具体而言，求解过程是：

• 求出$\mathbf{A}$的所有特征向量，（假设具有n个线性无关的特征向量，才能继续）则所有特征向量张成整个空间，从而将${\mathbf{u}}_0$表示为特征向量的线性组合$${\mathbf{u}}_0=c_1{\mathbf{x}}_1+c_2{\mathbf{x}}_2+\dots +c_n{\mathbf{x}}_n=\mathbf{S}\mathbf{c}$$其中，列向量$\mathbf{c}$保存了各个特征向量的系数
• 对角化得到$\mathbf{A}=\mathbf{S}\mathbf{\Lambda }{\mathbf{S}}^{-1}$，则第$k$项${\mathbf{u}}_k$为$${\mathbf{A}}^k{\mathbf{u}}_0=\mathbf{S}{\mathbf{\Lambda }}^k{\mathbf{S}}^{-1}\mathbf{S}\mathbf{c}=\mathbf{S}{\mathbf{\Lambda }}^k\mathbf{c}=c_1{\lambda }_1^k{\mathbf{x}}_1+c_2{\lambda }_2^k{\mathbf{x}}_2+\dots +c_n{\lambda }_n^k{\mathbf{x}}_n$$

直观理解：找到特征向量，则不论多少次矩阵幂，始终都是对于特征向量进行缩放，则容易获得$$\mathbf{A}{\mathbf{u}}_0=c_1{\lambda }_1{\mathbf{x}}_1+c_2{\lambda }_2{\mathbf{x}}_2+\dots +c_n{\lambda }_n{\mathbf{x}}_n$$$${\mathbf{A}}^k{\mathbf{u}}_0=c_1{\lambda }_1^k{\mathbf{x}}_1+c_2{\lambda }_2^k{\mathbf{x}}_2+\dots +c_n{\lambda }_n^k{\mathbf{x}}_n$$

关于“稳态”：

• 对于实数特征值，征值$|{\lambda }_i|<1$的项最终会消失，特征值$|{\lambda }_i|=1$的项恒定，特征值$|{\lambda }_i|>1$的项最终不断增长
• 对于复数特征值，虚部引入了复平面上的“旋转”，故特征值的幅值仍然确定稳态，而相位则对应了每次做矩阵乘法时特征向量的旋转角度
  详见线性代数学习笔记7-5：复习——正交、投影、特征值、差分/微分方程
• 那么，方程的解就是$${\mathbf{u}}_k={\mathbf{A}}^k{\mathbf{u}}_0=\mathbf{S}{\mathbf{\Lambda }}^k\mathbf{c}$$

举例：求Fibonacci数列

斐波那契数列为0,1,1,2,3,5,8,13，其通项公式为$F_{k+2}=F_{k+1}+F_k$，需要求$F_{100}$

首先要寻找/构造差分方程，由于通项公式给出的是二阶差分方程（同时出现了前后三项），我们可以额外增加一个方程，得到一个方程组（可表示为矩阵向量乘法），从而构造一阶的差分方程 { F k + 2 = F k + 1 + F k F k + 1 = F k + 1 \left\{

\right. {Fk+2​=Fk+1​+Fk​Fk+1​=Fk+1​​其中，将前后两项组成的列向量视为一个整体，即令 u k = [ F k + 1 F k ] \mathbf{u}_{k}=\left[

Fk+1Fk" role="presentation" style="position: relative;">Fk+1Fk$$\begin{array}{l}{F}_{k+1}\\ F_k\end{array}$$

\right] uk​=[Fk+1​Fk​​]，则出现一阶的差分方程 u k + 1 = [ 1 1 1 0 ] u k \mathbf{u}_{k+1}=\left[

1110" role="presentation" style="position: relative;">1110$$\begin{array}{ll}1& 1\\ 1& 0\end{array}$$

\right] \mathbf{u}_{k} uk+1​=[11​10​]uk​
至此，转化为上面的问题${\mathbf{u}}_{k+1}=\mathbf{A}{\mathbf{u}}_k$，其中 A = [ 1 1 1 0 ] \boldsymbol{A} =\left[

1110" role="presentation" style="position: relative;">1110$$\begin{array}{ll}1& 1\\ 1& 0\end{array}$$

\right] A=[11​10​]，给出初始的${\mathbf{u}}_0$，现在希望求${\mathbf{u}}_{100}$

• $\mathbf{A}$为对称阵，特征值必为实数，且对称矩阵的特征向量正交，可以求出 λ 1 = 1 + 5 2 ≈ 1.618 , x 1 = [ λ 1 1 ] \lambda_{1}=\frac{1+\sqrt{5}}{2}\approx 1.618,\quad\mathbf{x}_{1}=\left[
  λ11" role="presentation" style="position: relative;">λ11$$\begin{array}{c}{\lambda }_1\\ 1\end{array}$$
  \right] λ1​=21+5 ​​≈1.618,x1​=[λ1​1​] λ 1 = 1 − 5 2 ≈ − 0.618 , x 2 = [ λ 2 1 ] \lambda_{1}=\frac{1-\sqrt{5}}{2}\approx -0.618,\quad\mathbf{x}_{2}=\left[
  λ21" role="presentation" style="position: relative;">λ21$$\begin{array}{c}{\lambda }_2\\ 1\end{array}$$
  \right] λ1​=21−5 ​​≈−0.618,x2​=[λ2​1​]
• 分解${\mathbf{u}}_0$得到 u 0 = [ F 1 F 0 ] = [ 1 0 ] = c 1 x 1 + c 2 x 2 , c 1 = 1 5 , c 2 = − 1 5 \mathbf{u}_{0}=\left[
  F1F0" role="presentation" style="position: relative;">F1F0$$\begin{array}{l}{F}_1\\ F_0\end{array}$$
  \right]= \left[
  10" role="presentation" style="position: relative;">10$$\begin{array}{l}1\\ 0\end{array}$$
  \right]=c_{1} \mathbf{x}_{1}+c_{2} \mathbf{x}_{2}, \quad c_{1}=\frac{1}{\sqrt{5}}, c_{2}=-\frac{1}{\sqrt{5}} u0​=[F1​F0​​]=[10​]=c1​x1​+c2​x2​,c1​=5 ​1​,c2​=−5 ​1​

这里求解特征向量时有一定技巧：
求解 [ 1 − λ 1 1 − λ ] x = 0 \left[

1−λ11−λ" role="presentation" style="position: relative;">1−λ11−λ$$\begin{array}{ll}1-\lambda & 1\\ 1& -\lambda \end{array}$$

\right]\boldsymbol x=0 [1−λ1​1−λ​]x=0，由于$det(\mathbf{A}-\lambda \mathbf{I})=0$，则矩阵 ( A − λ I ) = [ 1 − λ 1 1 − λ ] \mathbf{( A-\lambda I)}=\left[

1−λ11−λ" role="presentation" style="position: relative;">1−λ11−λ$$\begin{array}{ll}1-\lambda & 1\\ 1& -\lambda \end{array}$$

\right] (A−λI)=[1−λ1​1−λ​]必然是二阶的不可逆矩阵，从而方程的两行一定线性相关，解这个方程只需满足其中任意一行即可（必然同时满足另一行），由此，我们直接从第二行得到方程的解，即特征向量 x = [ λ 1 ] \mathbf{x} =\left[

λ1" role="presentation" style="position: relative;">λ1$$\begin{array}{c}\lambda \\ 1\end{array}$$

\right] x=[λ1​]
最后可以验证，对于第一行就是特征多项式 det ⁡ ( A − λ I ) = ∣ 1 − λ 1 1 − λ ∣ = λ 2 − λ − 1 = 0 \operatorname{det}(\boldsymbol{A}-\lambda \boldsymbol{I})=\left|

1−λ11−λ" role="presentation" style="position: relative;">1−λ11−λ$$\begin{array}{cc}1-\lambda & 1\\ 1& -\lambda \end{array}$$

\right|=\lambda^{2}-\lambda-1=0 det(A−λI)=∣∣∣∣​1−λ1​1−λ​∣∣∣∣​=λ2−λ−1=0

• 由上，有$${\mathbf{u}}_k={\mathbf{A}}^k{\mathbf{u}}_0=\mathbf{S}{\mathbf{\Lambda }}^k\mathbf{c}=c_1{\lambda }_1^k{\mathbf{x}}_1+c_2{\lambda }_2^k{\mathbf{x}}_2$$带入数据，可以得到 [ F 100 F 99 ] = A 99 [ F 1 F 0 ] = [ λ 1 λ 2 1 1 ] [ λ 1 99 λ 2 99 ] [ c 1 c 2 ] = [ c 1 λ 1 100 + c 2 λ 2 100 c 1 λ 1 99 + c 2 λ 2 99 ] \left[
  F100F99" role="presentation" style="position: relative;">F100F99$$\begin{array}{c}{F}_{100}\\ F_{99}\end{array}$$
  \right]= \boldsymbol{A}^{99}\left[
  F1F0" role="presentation" style="position: relative;">F1F0$$\begin{array}{l}{F}_1\\ F_0\end{array}$$
  \right] =\left[
  λ1λ211" role="presentation" style="position: relative;">λ11λ21$$\begin{array}{cc}{\lambda }_1& {\lambda }_2\\ 1& 1\end{array}$$
  \right] \left[
  λ199λ299" role="presentation" style="position: relative;">λ199λ299$$\begin{array}{cc}{\lambda }_1{}^{99}& \\ & {\lambda }_2{}^{99}\end{array}$$
  \right] \left[
  c1c2" role="presentation" style="position: relative;">c1c2$$\begin{array}{l}{c}_1\\ c_2\end{array}$$
  \right] =\left[
  c1λ1100+c2λ2100c1λ199+c2λ299" role="presentation" style="position: relative;">c1λ1001+c2λ2100c1λ991+c2λ299$$\begin{array}{l}{c}_1{\lambda }_1^{100}+c_2{\lambda }_2{}^{100}\\ c_1{\lambda }_1^{99}+c_2{\lambda }_2{}^{99}\end{array}$$
  \right] [F100​F99​​]=A99[F1​F0​​]=[λ1​1​λ2​1​][λ1​99​λ2​99​][c1​c2​​]=[c1​λ1100​+c2​λ2​100c1​λ199​+c2​λ2​99​]

分析：
由于$|{\lambda }_2|\approx 0.618<1$，则$k\to \infty 时{\lambda }_2^k\to 0$；
而$|{\lambda }_1|\approx 1.618>1$，故${\lambda }_1$控制着Fibonacci数列的增长；
总体上，这个数列不断增长（不稳定），增长的速度由特征值决定

• 最终可得，$F_{100}=c_1{\lambda }_1^{100}+c_2{\lambda }_2{}^{100}\approx c_1{\lambda }_1^{100}$