【矩阵论】4. 矩阵运算——广义逆——广义逆的计算

矩阵论的所有文章，主要内容参考北航赵迪老师的课件

[注]由于矩阵论对计算机比较重要，所以选修了这门课，但不是专业搞数学的，所以存在很多口语化描述，而且对很多东西理解不是很正确与透彻，欢迎大家指正。我可能间歇性忙，但有空一定会回复修改的。

矩阵论
1. 准备知识——复数域上矩阵,Hermite变换
1.准备知识——复数域上的内积域正交阵
1.准备知识——Hermite阵，二次型，矩阵合同，正定阵，幂0阵，幂等阵，矩阵的秩
2. 矩阵分解——SVD准备知识——奇异值
2. 矩阵分解——SVD
2. 矩阵分解——QR分解
2. 矩阵分解——正定阵分解
2. 矩阵分解——单阵谱分解
2. 矩阵分解——正规分解——正规阵
2. 矩阵分解——正规谱分解
2. 矩阵分解——高低分解
3. 矩阵函数——常见解析函数
3. 矩阵函数——谱公式,幂0与泰勒计算矩阵函数
3. 矩阵函数——矩阵函数求导
4. 矩阵运算——观察法求矩阵特征值特征向量
4. 矩阵运算——张量积
4. 矩阵运算——矩阵拉直
4.矩阵运算——广义逆——加号逆定义性质与特殊矩阵的加号逆
4. 矩阵运算——广义逆——加号逆的计算
4. 矩阵运算——广义逆——加号逆应用
4. 矩阵运算——广义逆——减号逆
5. 线性空间与线性变换——线性空间
5. 线性空间与线性变换——生成子空间
5. 线性空间与线性变换——线性映射与自然基分解,线性变换
6. 正规方程与矩阵方程求解
7. 范数理论——基本概念——向量范数与矩阵范数
7.范数理论——基本概念——矩阵范数生成向量范数&谱范不等式
7. 矩阵理论——算子范数
7.范数理论——范数估计——许尔估计&谱估计
7. 范数理论——非负/正矩阵
8. 常用矩阵总结——秩1矩阵，优阵(单位正交阵)，Hermite阵
8. 常用矩阵总结——镜面阵，正定阵
8. 常用矩阵总结——单阵，正规阵，幂0阵，幂等阵，循环阵

---

4.4.2 $A^{+}$ 计算

a. 秩1阵

$$\begin{array}{c}若A=(a_{ij}{)}_{m\times n},r(A)=1,则A^{+}=\frac{1}{\sum |a_{ij}{|}^2}{A}^H=\frac{1}{tr(A^{H}A)}{A}^H\end{array}$$

$A^{H}A$ 的相关结论：

• $tr(A^{H}A)=t(A{A}^H)=\sum |a_{ij}{|}^2=\Vert A{\Vert }_F^2$
• $r(A^{H}A)=r(A{A}^H)=r(A)$
• $A^{H}A,A{A}^H$ 为半正定阵

证明：
$$\begin{array}{rl}& 由于r(A)=1,则A^{H}A优相似与对角阵D=\left(\begin{array}{cccc}{\lambda }_1& & & \\ & 0& & \\ & & \ddots & \\ & & & 0\end{array}\right)，其中\sqrt{{\lambda }_1}为正奇值\Rightarrow \\ & tr(A^{H}A)=tr(A{A}^H)={\lambda }_1=\sum |a_{ij}{|}^2,则A的正SVD为A=P\Delta Q^H=P\left(\sqrt{{\lambda }_1}\right)Q^H,\\ & 其中P^{H}P=Q^{H}Q=I\\ & A^H=Q\Delta P^H=Q(\sqrt{{\lambda }_1})P^H,A^{+}=Q{\Delta }^{-1}{P}^H=Q(\frac{1}{\sqrt{{\lambda }_1}})P^H\\ & \Rightarrow A^{+}=\frac{1}{(\sqrt{{\lambda }_1}{)}^2}Q(\sqrt{{\lambda }_1})P^H=\frac{1}{(\sqrt{{\lambda }_1}{)}^2}Q\Delta P^H=\frac{1}{(\sqrt{{\lambda }_1}{)}^2}{A}^H=\frac{1}{tr(A^{H}A)}{A}^H=\frac{1}{\sum |a_{ij}{|}^2}{A}^H\end{array}$$
eg：

b. 正奇分解求逆(第一公式)

$$\begin{array}{rl}& 若A=A_{m\times n}有正SVD，A=P\Delta Q^H,\Delta =\left(\begin{array}{ccc}{s}_1& & \\ & \ddots & \\ & & s_r\end{array}\right)>0,\\ & 其中P，Q为半U阵，P^{H}P=I_r=Q^{H}Q\\ & 则有公式A^{+}=Q{\Delta }^{-1}{P}^H,其中{\Delta }^{-1}={\Delta }^{+}\end{array}$$

由 $A^{+}$ 的正奇公式，可证 逆的H穿脱公式 $(A^H{)}^{+}=(A^{+}{)}^H$

• $A^{+}$ 的正奇值为 { s 1 − 1 , s 2 − 1 , ⋯   , s r − 1 } \{s_1^{-1},s_2^{-1},\cdots,s_r^{-1}\} {s1−1​,s2−1​,⋯,sr−1​} ，且有公式 $\Vert A^{+}{\Vert }_F=\sqrt{s_1^{-2},\cdots ,s_r^{-2}}$ ，$\Vert A^{+}{\Vert }_2=s_r^{-1}$

证明：
$$\begin{array}{rl}& A=P\Delta Q^H\Rightarrow A^H=Q\Delta P^H为A^H的正SVD\\ & A^{+}=Q{\Delta }^{-1}{P}^H,(A^H{)}^{+}=P{\Delta }^{-1}{Q}^H\Rightarrow (A^{+}{)}^H=P{\Delta }^{-1}{Q}^H=(A^H{)}^{+}\end{array}$$
eg

( 1 ) 求正奇值， A H A = ( 1 0 2 0 1 0 ) ( 1 0 0 1 2 0 ) = ( 5 0 0 1 ) , λ ( A ) = { 5 , 1 } , 正奇值为 5 , 1 , 令 Δ = ( 5 0 0 1 ) ( 2 ) S V D ， Q = ( q 1 , q 2 ) = ( 1 0 0 1 ) , P = ( A q 1 ∣ A q 1 ∣ , A q 2 ∣ A q 2 ∣ ) = ( 1 5 0 0 1 2 5 0 ) , A = P Δ Q H = ( 1 5 0 0 1 2 5 0 ) ( 5 0 0 1 ) ( 1 0 0 1 ) H ( 3 ) A + = Q Δ − 1 P H = ( 1 0 0 1 ) 1 5 ( 1 0 0 5 ) ( 1 5 0 2 5 0 1 0 ) = ( 1 5 0 0 1 ) ( 1 5 0 2 5 0 1 0 ) = ( 1 5 0 2 5 0 1 0 ) ( 4 ) ∵ B = A H , 则 B + = ( A H ) + = ( A + ) H = ( 1 5 0 0 1 2 5 0 ) (1)求正奇值，AHA=(102010)(100120)=(5001),λ(A)={5,1},正奇值为√5,1,令Δ=(√5001)(2)SVD，Q=(q1,q2)=(1001),P=(Aq1|Aq1|,Aq2|Aq2|)=(1√50012√50),A=PΔQH=(1√50012√50)(√5001)(1001)H(3)A+=QΔ−1PH=(1001)1√5(100√5)(1√502√5010)=(1√5001)(1√502√5010)=(15025010)(4)∵ ​(1)求正奇值，AHA=(10​01​20​) ​102​010​ ​=(50​01​),λ(A)={5,1},正奇值为5 ​,1,令Δ=(5 ​0​01​)(2)SVD，Q=(q1​,q2​)=(10​01​),P=(∣Aq1​∣Aq1​​,∣Aq2​∣Aq2​​​)= ​5 ​1​05 ​2​​010​ ​,A=PΔQH= ​5 ​1​05 ​2​​010​ ​(5 ​0​01​)(10​01​)H(3)A+=QΔ−1PH=(10​01​)5 ​1​(10​05 ​​)(5 ​1​0​01​5 ​2​0​)=(5 ​1​0​01​)(5 ​1​0​01​5 ​2​0​)=(51​0​01​52​0​)(4)∵B=AH,则B+=(AH)+=(A+)H= ​51​052​​010​ ​​

---

A H A = ( 2 1 1 2 ) , λ ( A H A ) = { 3 , 1 } , 正奇值 S + = { 3 , 1 } , 故 A H A 优相似与 Δ = ( 3 0 0 1 ) , λ 1 = 3 的特根 q 1 = ( 1 1 ) , λ 2 = 1 的特根为 q 2 = ( 1 − 1 ) , Q = ( q 1 , q 2 ) = ( 1 2 1 2 1 2 − 1 2 ) , P = ( A q 1 ∣ A q 1 ∣ , A q 2 ∣ A q 2 ∣ ) = ( 1 6 ( 1 1 2 ) , 1 2 ( 1 − 1 0 ) ) = ( 1 6 1 2 1 6 − 1 2 2 6 0 ) A = P Δ Q H = ( 1 6 1 2 1 6 − 1 2 2 6 0 ) ( 3 0 0 1 ) ( 1 2 1 2 1 2 − 1 2 ) A + = Q Δ − 1 P H = ( 1 2 1 2 1 2 − 1 2 ) ( 1 3 0 0 1 ) ( 1 6 1 6 2 6 1 2 − 1 2 0 ) = 1 6 = ( 4 − 2 2 − 2 4 2 ) ​AHA=(21​12​),λ(AHA)={3,1},正奇值S+={3 ​,1},故AHA优相似与Δ=(3 ​0​01​),λ1​=3的特根q1​=(11​),λ2​=1的特根为q2​=(1−1​),Q=(q1​,q2​)=(2 ​1​2 ​1​​2 ​1​−2 ​1​​),P=(∣Aq1​∣Aq1​​,∣Aq2​∣Aq2​​)= ​6 ​1​ ​112​ ​,2 ​1​ ​1−10​ ​​ ​= ​6 ​1​6 ​1​6 ​2​​2 ​1​−2 ​1​0​ ​A=PΔQH= ​6 ​1​6 ​1​6 ​2​​2 ​1​−2 ​1​0​ ​(3 ​0​01​)(2 ​1​2 ​1​​2 ​1​−2 ​1​​)A+=QΔ−1PH=(2 ​1​2 ​1​​2 ​1​−2 ​1​​)(3 ​1​0​01​)(6 ​1​2 ​1​​6 ​1​−2 ​1​​6 ​2​0​)=61​=(4−2​−24​22​)​

c. 优分解求逆公式

$$\begin{array}{rl}& 设P,Q为优阵，则(PDQ{)}^{+}=Q^H{D}^{+}{P}^H=Q^{H}D{P}^H\end{array}$$

• 引理：若 D = ( λ 1 ⋱ λ n ) D=\left(
  λ1⋱λn" role="presentation">λ1⋱λn$$\begin{array}{ccc}{\lambda }_1& & \\ & \ddots & \\ & & {\lambda }_n\end{array}$$
  \right) D= ​λ1​​⋱​λn​​ ​ 为对角阵，则 $D^{+}D=D{D}^{+}$ ，且 $(D^{+}{)}^k=(D^k{)}^{+}$ ，(k=1,2,…)

d. QR分解求逆公式

$$\begin{array}{rl}& 设A=A_{m\times p}为高阵，且有QR分解，A=QR，Q为列U阵，R=R_{p\times p},则A^{+}=R^{-1}{Q}^H\end{array}$$

eg

$$\begin{array}{rl}& (1)求A的QR分解，令{\beta }_1=\left(\begin{array}{c}1\\ 0\\ 2\end{array}\right),{\beta }_2={\alpha }_2-\frac{({\alpha }_2,{\beta }_1)}{({\beta }_1,{\beta }_1)}{\beta }_1=\left(\begin{array}{c}2\\ 0\\ -1\end{array}\right),Q=\frac{1}{\sqrt{5}}\left(\begin{array}{cc}1& 2\\ 0& 0\\ 2& -1\end{array}\right)\\ & R=Q^{H}A=\sqrt{5}\left(\begin{array}{cc}1& 1\\ 0& 1\end{array}\right)\Rightarrow A=QR=\frac{1}{\sqrt{5}}\left(\begin{array}{cc}1& 2\\ 0& 0\\ 2& -1\end{array}\right)\sqrt{5}\left(\begin{array}{cc}1& 1\\ 0& 1\end{array}\right)\\ & (2)A^{+}=(QR{)}^{+}=R^{+}{Q}^{+}=R^{-1}{Q}^H=\frac{1}{\sqrt{5}}\left(\begin{array}{cc}1& -1\\ 0& 1\end{array}\right)\frac{1}{\sqrt{5}}\left(\begin{array}{ccc}1& 0& 2\\ 2& 0& -1\end{array}\right)=\frac{1}{5}\left(\begin{array}{ccc}-1& 0& 3\\ 2& 0& -1\end{array}\right)\end{array}$$

e. 单阵求逆

若A为单阵不可逆，则不能用谱分解方式求逆

t r ( A ) = 1 , 故 A + = 1 2 A H = 1 2 ( 1 0 1 0 ) A 的特征多项式为 ∣ A − λ I ∣ = λ ( 1 − λ ) ⇒ λ ( A ) = { 1 , 0 } , G 1 = A − λ 2 I λ 1 − λ 2 = ( 1 1 0 0 ) A 有谱分解 A = G 1 , A + ≠ A , 故对于不可逆的单阵， A + ≠ λ 1 − 1 G 1 + ⋯ + λ k − 1 G k ​tr(A)=1,故A+=21​AH=21​(11​00​)A的特征多项式为∣A−λI∣=λ(1−λ)⇒λ(A)={1,0},G1​=λ1​−λ2​A−λ2​I​=(10​10​)A有谱分解A=G1​,A+=A,故对于不可逆的单阵，A+=λ1−1​G1​+⋯+λk−1​Gk​​

---

若A为单阵且可逆，则有谱分解 $A={\lambda }_1{G}_1+\cdots +{\lambda }_k{G}_k$ 且 $A^{+}={\lambda }_1^{-1}{G}_1+\cdots +{\lambda }_k^{-1}{G}_k$

A 为行和阵， λ ( A ) = { 4 , 1 } , G 1 = A − λ 2 I λ 1 − λ 2 = 1 3 ( 1 2 1 2 ) , G 2 = 1 3 ( 2 − 2 − 1 1 ) , A = 4 G 1 + G 2 r ( A ) = 2 ，则 A 可逆，故 ⇒ A + = A − 1 = 1 3 G 1 + G 2 = 1 4 ( 3 − 2 − 1 2 ) ​A为行和阵，λ(A)={4,1},G1​=λ1​−λ2​A−λ2​I​=31​(11​22​),G2​=31​(2−1​−21​),A=4G1​+G2​r(A)=2，则A可逆，故⇒A+=A−1=31​G1​+G2​=41​(3−1​−22​)​

正规阵谱分解

$$\begin{array}{rl}& 若A为正规阵，且有谱分解：A={\lambda }_1{G}_1+\cdots +{\lambda }_k{G}_k,则有A^{+}={\lambda }_1^{+}{G}_1+{\lambda }_2^{+}{G}_2+\cdots +{\lambda }_k^{+}{G}_k\end{array}$$

eg

( 1 ) 求 A 的谱分解： A 有特征多项式 ∣ A − λ I ∣ = ∣ 2 − λ 1 − i 1 + i 1 − λ ∣ = ( 2 − λ ) ( 1 − λ ) − 2 = λ ( λ − 3 ) ⇒ λ ( A ) = { 3 , 0 } G 1 = A − λ 2 I λ 1 − λ 2 = 1 3 ( 2 1 − i 1 + i 1 ) , G 2 = I − G 1 = 1 3 ( 1 1 − i − 1 − i 2 ) 可得谱分解 A = 3 G 1 + 0 G 2 ( 2 ) A + = 3 + G 1 = 1 3 G 1 = 1 9 ( 2 1 − i 1 + i 1 ) 验证： ( 1 − i ) r 2 = r 1 ，即 A 为秩 1 公式，故有 A + = 1 ∑ ∣ a i j ∣ 2 ( 2 1 + i 1 − i 1 ) = 1 9 ( 2 1 − i 1 + i 1 ) ​(1)求A的谱分解：A有特征多项式∣A−λI∣= ​2−λ1+i​1−i1−λ​ ​=(2−λ)(1−λ)−2=λ(λ−3)⇒λ(A)={3,0}G1​=λ1​−λ2​A−λ2​I​=31​(21+i​1−i1​),G2​=I−G1​=31​(1−1−i​1−i2​)可得谱分解A=3G1​+0G2​(2)A+=3+G1​=31​G1​=91​(21+i​1−i1​)验证：(1−i)r2​=r1​，即A为秩1公式，故有A+=∑∣aij​∣21​(21−i​1+i1​)=91​(21+i​1−i1​)​

f. 高低阵求逆及高低分解求逆公式

引理

高低阵引理：

高低阵消去性质：

Hermite性质：

高低阵求逆

$$\begin{array}{rl}& 高阵公式：若A=A_{m\times r}为列满秩阵(高阵)，则有加号逆A^{+}=(A^{H}A{)}^{-1}{A}^H,且A^{+}A=I\\ & 低阵公式：若A=A_{r\times n}为行满秩阵(低阵)，则有加号逆A^{+}=A^H(A{A}^H{)}^{-1},且A{A}^{+}=I\end{array}$$

eg

$$\begin{array}{rl}& 由高阵公式：A^{+}=(A^{H}A{)}^{-1}{A}^H,计算可得A^{H}A=\left(\begin{array}{cc}2& 0\\ 0& 1\end{array}\right),(A^{H}A{)}^{-1}=\frac{1}{2}\left(\begin{array}{cc}1& 0\\ 0& 2\end{array}\right),\\ & 可得A^{+}=(A^{H}A{)}^{-1}{A}^H=\frac{1}{2}\left(\begin{array}{cc}1& 0\\ 0& 2\end{array}\right)\left(\begin{array}{ccc}1& 0& 1\\ 0& 1& 0\end{array}\right)=\frac{1}{2}\left(\begin{array}{ccc}1& 0& 1\\ 0& 2& 0\end{array}\right),可验证\\ & A^{+}A=I\end{array}$$

---

$$\begin{array}{rl}& 由于B=A^H,则B^{+}=(A^H{)}^{+}=(A^{+}{)}^H=\frac{1}{2}\left(\begin{array}{cc}1& 0\\ 0& 2\\ 1& 0\end{array}\right)\end{array}$$

---

$$\begin{array}{rl}& 由低阵公式A^{+}=A^H(A{A}^H{)}^{-1},A{A}^H=\left(\begin{array}{cc}2& 1\\ 1& 2\end{array}\right),(A{A}^H{)}^{-1}=\frac{1}{3}\left(\begin{array}{cc}2& -1\\ -1& 2\end{array}\right)\\ & A^{+}=A^H(A{A}^H{)}^{-1}=\frac{1}{3}\left(\begin{array}{cc}1& 1\\ -1& 2\\ 2& -1\end{array}\right)\\ & 由于B=A^H,B^{+}=(A^H{)}^{+}=(A^{+}{)}^H=\frac{1}{3}\left(\begin{array}{ccc}1& -1& 2\\ 1& 2& -1\end{array}\right)\end{array}$$

$A^{+}$ 第二公式（高低分解求逆公式）

$$\begin{array}{rl}& 若有高低分解A=BC，则有公式：A^{+}=C^{+}{B}^{+},其中B^{+}=(B^{H}B{)}^{-1}{B}^H,C^{+}=A^H(A{A}^H{)}^{-1}\\ & 且有B^{+}B=I,C{C}^{+}=I\end{array}$$

注

$(BC{)}^{+}$ 一般不成立，只有在高低分解时才成立

eg

$$\begin{array}{rl}& \because A=\left(\begin{array}{ccc}1& 0& 0\\ 0& 1& -1\\ 0& 0& 0\\ 0& 0& 0\end{array}\right),故选第1,2列作为高阵，B=\left(\begin{array}{cc}1& 0\\ 0& 1\\ 1& 0\\ 2& 1\end{array}\right),C=\left(\begin{array}{ccc}1& 0& 0\\ 0& 1& -1\end{array}\right),A=BC(高低分解)\\ & (B^{H}B{)}^{-1}=\frac{1}{4}\left(\begin{array}{cc}1& -1\\ -1& 3\end{array}\right),(C{C}^H{)}^{-1}=\frac{1}{2}\left(\begin{array}{cc}2& 0\\ 0& 1\end{array}\right),\\ & B^{+}=(B^{H}B{)}^{-1}{B}^H=\frac{1}{4}\left(\begin{array}{cc}1& -1\\ -1& 3\end{array}\right)\left(\begin{array}{cccc}1& 0& 1& 2\\ 0& 1& 0& 1\end{array}\right)=\frac{1}{4}\left(\begin{array}{cccc}1& 0& 1& 1\\ -1& 3& -1& 1\end{array}\right),\\ & C^{+}=C^H(C{C}^H{)}^{-1}=\frac{1}{2}\left(\begin{array}{cc}2& 0\\ 0& 1\\ 0& -1\end{array}\right),\\ & A=C^{+}{B}^{+}=\frac{1}{8}\left(\begin{array}{cccc}2& -2& 2& 2\\ -1& 3& -1& 1\\ 1& -3& 1& -1\end{array}\right)\end{array}$$

---

g. 张量分解公式

$$(A\otimes B{)}^{+}=A^{+}\otimes B^{+}$$

h. 分块求逆公式

$$\begin{gathered} {\left(\begin{array}{c}A\\ 0\end{array}\right)}^{+}=\left(A^{+},0\right),(A,0{)}^{+}=\left(\begin{array}{c}{A}^{+},0\end{array}\right) \\ {\left(\begin{array}{cc}{A}_1& 0\\ 0& A_2\end{array}\right)}^{+}=\left(\begin{array}{cc}{A}_1^{+}& 0\\ 0& A_2^{+}\end{array}\right) \\ {\left(\begin{array}{cc}0& A_1\\ A_2& 0\end{array}\right)}^{+}=\left(\begin{array}{cc}0& A_1^{+}\\ A_2^{+}& 0\end{array}\right) \\ {\left(\begin{array}{c}A\\ A\\ A\end{array}\right)}^{+}=\frac{1}{3}\left(A^{+},A^{+},A^{+}\right) \\ (A,A,A{)}^{+}=\frac{1}{3}\left(\begin{array}{c}{A}^{+}\\ A^{+}\\ A^{+}\end{array}\right) \\ {\left(\begin{array}{cc}A& A\\ A& A\end{array}\right)}^{+}=\frac{1}{4}\left(\begin{array}{cc}{A}^{+}& A^{+}\\ A^{+}& A^{+}\end{array}\right) \end{gathered}$$

eg

---

$$\begin{array}{rl}& A=\left(\begin{array}{c}D\\ 0\end{array}\right),D为低阵，D^{+}=D^H(D{D}^H{)}^{-1}=\frac{1}{2}\left(\begin{array}{cc}1& 0\\ 0& 2\\ 1& 0\end{array}\right),A^{+}=\left(\begin{array}{cc}{D}^{+}& 0\end{array}\right)=\left(\begin{array}{ccc}\frac{1}{2}& 0& 0\\ 0& 1& 0\\ \frac{1}{2}& 0& 0\end{array}\right)\end{array}$$

---

---

eg

---

i. 第三公式(分步求逆)

$$A^{+}=(A^{H}A{)}^{+}{A}^H$$

应用

eg