第一章 矩阵与线性方程组（二十三）

1. Moore-Penrose逆矩阵的计算

假定$m\times n$矩阵$A$的秩为$r$，其中，$r\le min(m,n)$。下面介绍求$Moore-Penrose$逆矩阵$A^{+}$的四种方法。

1.1 方程求解法

Penrose在定义广义逆矩阵$A^{+}$时，提出了计算$A^{+}$的两步法如下:
第一步:分别求解矩阵方程
$$A{A}^H{X}^H=A$$
$$A^{H}AY=A^H$$
得到$X^H$和$Y$。
第二步:计算广义逆矩阵$A^{+}=XAY$。
若矩阵$A$为$Hermitian$矩阵，则Penrose的上述方法可以简化，因为以上两个矩阵方程等价为一个矩阵方程
$$A^2{X}^H=A,若A^H=A$$
并且Moore-Penrose逆矩阵可以计算为
$$A^{+}=XA{X}^H,若A^H=A$$
虽然$A$一般不会是Hermitian矩阵，但是$A^{H}A$和$A{A}^H$分别是Hermitian矩阵。

总结以上讨论，可以得到计算Moore-Penrose逆矩阵的两种算法如下

算法1
步骤1 计算矩阵$B=A{A}^H$。
步骤2 求解矩阵方程$B^2{X}^H=B$得到矩阵$X^H$。
步骤3 计算$B$的Moore-Penrose逆矩阵$B^{+}=(A{A}^H{)}^{+}=XB{X}^H$
步骤4 计算矩阵$A$的Moore-Penrose逆矩阵$A^{+}=A^H(A{A}^H{)}^{+}=A^H{B}^{+}$

算法2
步骤1 计算矩阵$B=A^{H}A$。
步骤2 求解矩阵方程$B^2{x}^H=B$得到矩阵$X^H$。
步骤3 计算$B$的Moore-Penrose逆矩阵$B^{+}=(A^{H}A{)}^{+}=XB{X}^H$。
步骤4 计算矩阵$A$的Moor-Penrose逆矩阵$A^{+}=(A^{H}A{)}^{+}{A}^H=B^{+}{A}^H$

若矩阵$A_{m\times n}$的列数大于行数，则矩阵乘积$A{A}^H$的维数比$A^{H}A$的维数小，故选择算法1可花费较少的计算量。反之，若$A$的行数大于列数，则选择算法2。

举例
令矩阵
A = [ 1 0 − 1 2 − 1 1 0 1 1 − 1 0 1 1 1 0 1 − 1 0 ] A=

A=⎣ ⎡​101​011​−110​2−11​−10−1​110​⎦ ⎤​
由于其列数大于行数，故选择算法1。
(1)计算$3\times 3$矩阵$A{A}^H$，得
A A H = [ 8 − 2 3 − 2 4 0 4 0 4 ] , ( A A H ) 2 = [ 84 − 24 48 − 24 20 − 8 48 − 8 32 ] AA^H=

[8−23−240404]" role="presentation" style="position: relative;">⎡⎣⎢8−24−240304⎤⎦⎥$$\left[\begin{array}{ccc}8& -2& 3\\ -2& 4& 0\\ 4& 0& 4\end{array}\right]$$

,(AA^H)^2=

[84−2448−2420−848−832]" role="presentation" style="position: relative;">⎡⎣⎢84−2448−2420−848−832⎤⎦⎥$$\left[\begin{array}{ccc}84& -24& 48\\ -24& 20& -8\\ 48& -8& 32\end{array}\right]$$

AAH=⎣ ⎡​8−24​−240​304​⎦ ⎤​,(AAH)2=⎣ ⎡​84−2448​−2420−8​48−832​⎦ ⎤​
(2)求解$(A{A}^H{)}^2{X}^H=A{A}^H$，等价求解以下三个方程：
[ 84 − 24 48 − 24 20 − 8 48 − 8 32 ] [ x 1 x 2 x 3 ] = [ 8 − 2 4 ] ⇒ [ x 1 x 2 x 3 ] = 1 6 [ 2 1 − 1 ]

[84−2448−2420−848−832]" role="presentation" style="position: relative;">⎡⎣⎢84−2448−2420−848−832⎤⎦⎥$$\left[\begin{array}{ccc}84& -24& 48\\ -24& 20& -8\\ 48& -8& 32\end{array}\right]$$

[x1x2x3]" role="presentation" style="position: relative;">⎡⎣⎢x1x2x3⎤⎦⎥$$\left[\begin{array}{c}{x}_1\\ x_2\\ x_3\end{array}\right]$$

=

[8−24]" role="presentation" style="position: relative;">⎡⎣⎢8−24⎤⎦⎥$$\left[\begin{array}{c}8\\ -2\\ 4\end{array}\right]$$

\Rightarrow

[x1x2x3]" role="presentation" style="position: relative;">⎡⎣⎢x1x2x3⎤⎦⎥$$\left[\begin{array}{c}{x}_1\\ x_2\\ x_3\end{array}\right]$$

=\frac{1}{6}

[21−1]" role="presentation" style="position: relative;">⎡⎣⎢21−1⎤⎦⎥$$\left[\begin{array}{c}2\\ 1\\ -1\end{array}\right]$$

⎣ ⎡​84−2448​−2420−8​48−832​⎦ ⎤​⎣ ⎡​x1​x2​x3​​⎦ ⎤​=⎣ ⎡​8−24​⎦ ⎤​⇒⎣ ⎡​x1​x2​x3​​⎦ ⎤​=61​⎣ ⎡​21−1​⎦ ⎤​
[ 84 − 24 48 − 24 20 − 8 48 − 8 32 ] [ x 1 x 2 x 3 ] = [ − 2 4 0 ] ⇒ [ x 1 x 2 x 3 ] = 1 6 [ 1 2 − 1 ]

[84−2448−2420−848−832]" role="presentation" style="position: relative;">⎡⎣⎢84−2448−2420−848−832⎤⎦⎥$$\left[\begin{array}{ccc}84& -24& 48\\ -24& 20& -8\\ 48& -8& 32\end{array}\right]$$

[x1x2x3]" role="presentation" style="position: relative;">⎡⎣⎢x1x2x3⎤⎦⎥$$\left[\begin{array}{c}{x}_1\\ x_2\\ x_3\end{array}\right]$$

=

[−240]" role="presentation" style="position: relative;">⎡⎣⎢−240⎤⎦⎥$$\left[\begin{array}{c}-2\\ 4\\ 0\end{array}\right]$$

\Rightarrow

[x1x2x3]" role="presentation" style="position: relative;">⎡⎣⎢x1x2x3⎤⎦⎥$$\left[\begin{array}{c}{x}_1\\ x_2\\ x_3\end{array}\right]$$

=\frac{1}{6}

[12−1]" role="presentation" style="position: relative;">⎡⎣⎢12−1⎤⎦⎥$$\left[\begin{array}{c}1\\ 2\\ -1\end{array}\right]$$

⎣ ⎡​84−2448​−2420−8​48−832​⎦ ⎤​⎣ ⎡​x1​x2​x3​​⎦ ⎤​=⎣ ⎡​−240​⎦ ⎤​⇒⎣ ⎡​x1​x2​x3​​⎦ ⎤​=61​⎣ ⎡​12−1​⎦ ⎤​
[ 84 − 24 48 − 24 20 − 8 48 − 8 32 ] [ x 1 x 2 x 3 ] = [ 4 0 4 ] ⇒ [ x 1 x 2 x 3 ] = 1 12 [ − 4 − 2 7 ]

[84−2448−2420−848−832]" role="presentation" style="position: relative;">⎡⎣⎢84−2448−2420−848−832⎤⎦⎥$$\left[\begin{array}{ccc}84& -24& 48\\ -24& 20& -8\\ 48& -8& 32\end{array}\right]$$

[x1x2x3]" role="presentation" style="position: relative;">⎡⎣⎢x1x2x3⎤⎦⎥$$\left[\begin{array}{c}{x}_1\\ x_2\\ x_3\end{array}\right]$$

=

[404]" role="presentation" style="position: relative;">⎡⎣⎢404⎤⎦⎥$$\left[\begin{array}{c}4\\ 0\\ 4\end{array}\right]$$

\Rightarrow

[x1x2x3]" role="presentation" style="position: relative;">⎡⎣⎢x1x2x3⎤⎦⎥$$\left[\begin{array}{c}{x}_1\\ x_2\\ x_3\end{array}\right]$$

=\frac{1}{12}

[−4−27]" role="presentation" style="position: relative;">⎡⎣⎢−4−27⎤⎦⎥$$\left[\begin{array}{c}-4\\ -2\\ 7\end{array}\right]$$

⎣ ⎡​84−2448​−2420−8​48−832​⎦ ⎤​⎣ ⎡​x1​x2​x3​​⎦ ⎤​=⎣ ⎡​404​⎦ ⎤​⇒⎣ ⎡​x1​x2​x3​​⎦ ⎤​=121​⎣ ⎡​−4−27​⎦ ⎤​
故
X H = 1 12 [ 4 2 − 4 2 4 − 2 − 4 − 2 7 ] X^H= \frac{1}{12}

[42−424−2−4−27]" role="presentation" style="position: relative;">⎡⎣⎢42−424−2−4−27⎤⎦⎥$$\left[\begin{array}{ccc}4& 2& -4\\ 2& 4& -2\\ -4& -2& 7\end{array}\right]$$

XH=121​⎣ ⎡​42−4​24−2​−4−27​⎦ ⎤​
(3)计算
( A A H ) + = X ( A A H ) X H = 1 12 [ 4 2 − 4 2 4 − 2 − 4 − 2 7 ] (AA^H)^+=X(AA^H)X^H= \frac{1}{12}

[42−424−2−4−27]" role="presentation" style="position: relative;">⎡⎣⎢42−424−2−4−27⎤⎦⎥$$\left[\begin{array}{ccc}4& 2& -4\\ 2& 4& -2\\ -4& -2& 7\end{array}\right]$$

(AAH)+=X(AAH)XH=121​⎣ ⎡​42−4​24−2​−4−27​⎦ ⎤​
(4)矩阵A的Moore-Penrose逆矩阵由
A + = A H ( A A H ) + = 1 12 [ 1 0 1 0 1 1 − 1 1 0 2 − 1 1 − 1 0 − 1 1 1 0 ] [ 4 2 − 4 2 4 − 2 − 4 − 2 7 ] = 1 12 [ 0 0 3 − 2 2 5 − 2 2 2 2 − 2 1 0 0 − 3 6 6 − 6 ] A^+=A^H(AA^H)^+=\frac{1}{12}

[101011−1102−11−10−1110]" role="presentation" style="position: relative;">⎡⎣⎢⎢⎢⎢⎢⎢⎢⎢10−12−11011−1011101−10⎤⎦⎥⎥⎥⎥⎥⎥⎥⎥$$\left[\begin{array}{ccc}1& 0& 1\\ 0& 1& 1\\ -1& 1& 0\\ 2& -1& 1\\ -1& 0& -1\\ 1& 1& 0\end{array}\right]$$

[42−424−2−4−27]" role="presentation" style="position: relative;">⎡⎣⎢42−424−2−4−27⎤⎦⎥$$\left[\begin{array}{ccc}4& 2& -4\\ 2& 4& -2\\ -4& -2& 7\end{array}\right]$$

=\frac{1}{12}

[003−225−2222−2100−366−6]" role="presentation" style="position: relative;">⎡⎣⎢⎢⎢⎢⎢⎢⎢⎢0−2−2206022−2063521−3−6⎤⎦⎥⎥⎥⎥⎥⎥⎥⎥$$\left[\begin{array}{ccc}0& 0& 3\\ -2& 2& 5\\ -2& 2& 2\\ 2& -2& 1\\ 0& 0& -3\\ 6& 6& -6\end{array}\right]$$

A+=AH(AAH)+=121​⎣ ⎡​10−12−11​011−101​1101−10​⎦ ⎤​⎣ ⎡​42−4​24−2​−4−27​⎦ ⎤​=121​⎣ ⎡​0−2−2206​022−206​3521−3−6​⎦ ⎤​
给出。容易验证，$A^{+}$满足Moore-Penrose逆矩阵的四个条件。

1.2 KL 分解法

若$A=KL$是矩阵$A_{m\times n}$的满秩分解，则
$$G=L^H(K^{H}A{L}^H{)}^{-1}{K}^H$$
$G$是$A_{m\times n}$的Moore-Penrose逆矩阵。

1.3 递推法

对矩阵$A_{m\times n}$的前$k$列进行分块$A_k=[A_{k-1},a_k]$，其中，$a_k$是矩阵$A$的第$k$列。于是，分块矩阵$A_k^{+}$的Moore-Penrose逆矩阵$A$可以由$A$递推计算。当递推到$k=n$时，即获得矩阵$A$的Moore-Penrose逆矩阵$A^{+}$。

算法3 (求Moore-Penrose逆矩阵的列递推算法)
初始值$A_1^{+}=a_1^{+}=(a_1^H{a}_1{)}^{-1}{a}_1^H$。
递推
令$k=2,3,...,n$，进行以下计算:

上述列递推算法原则上适用于所有矩阵，但是当矩阵$A$的行比列少的时候，为了减少递推次数，宜先使用列递推算法求出$A^H$的Moore-Penrose逆矩阵$(A^H{)}^{+}=A^{H+}$，再利用KaTeX parse error: Double superscript at position 9: A^+=(A^H^̲+)^H之关系得到$A^{+}$。

举例
A = [ 1 0 − 1 − 1 1 − 1 0 − 1 2 1 1 1 ] A=

A=⎣ ⎡​1−101​01−11​−1−121​⎦ ⎤​
的Moore-Penrose逆矩阵。

解
(1)令$A_2=[A_1,a_2]$，其中
A 1 = a 1 = [ 1 − 1 0   1 ] , a 2 = [ 0 1 − 1 1 ] A_1=a_1=

,a_2= A1​=a1​=⎣ ⎡​1−10 1​⎦ ⎤​,a2​=⎣ ⎡​01−11​⎦ ⎤​
则有
$$A_1^{+}=a_1^{+}=(a_1^T{a}_1{)}^{-1}{a}_1^T=\frac{1}{3}[1,-1,0,1]$$
(2)$d_2=A_1^{+}{a}_2=0.$

(3)$b_2=(a_2-A_1{d}_2{)}^{+}=a_2^{+}=\frac{1}{3}0,1,-1,1{]}^T$。

(4)计算
A 2 + = [ A 1 + − d 2 b 2 b 2 ] = 1 3 [ 1 − 1 0 1 0 1 − 1 1 ] A_2^+=

=\frac{1}{3} A2+​=[A1+​−d2​b2​b2​​]=31​[10​−11​0−1​11​]
(5) d 3 = A 2 + a 3 = 1 3 [ 1 − 2 ] d_3=A_2^+a_3=\frac{1}{3}

[1−2]" role="presentation" style="position: relative;">[1−2]$$\left[\begin{array}{c}1\\ -2\end{array}\right]$$

d3​=A2+​a3​=31​[1−2​]
(6)$b_3=(a_3-A_2{d}_3{)}^{+}=\frac{1}{4}[-1,0,1,1{]}^T$。
(7)最后，得到$A$的Moore-Penrose逆矩阵为
A + = [ A 2 + − d 3 b 3 b 3 ] = 1 12 [ 5 − 4 − 1 3 − 2 4 − 2 6 − 3 0 3 3 ] A^+=

[A2+−d3b3b3]" role="presentation" style="position: relative;">[A+2−d3b3b3]$$\left[\begin{array}{c}{A}_2^{+}-d_3{b}_3\\ b_3\end{array}\right]$$

=\frac{1}{12}

[5−4−13−24−26−3033]" role="presentation" style="position: relative;">[5−2−44−1−236−3033]$$\left[\begin{array}{cccc}5& -4& -1& 3\\ -2& 4& -2& 6-3& 0& 3& 3\end{array}\right]$$

A+=[A2+​−d3​b3​b3​​]=121​[5−2​−44​−1−2​36−3​0​3​3​]

1.4 迹方法

已知矩阵$A_{m\times n}$的秩为$r_o$
算法4(求Moore-Penrose逆矩阵的迹方法)
步骤1 计算$B=A{A}^T$。
步骤2 令$C_1=I$。
步骤3 计算
$$C_{i+1}=\frac{1}{i}tr(C_{i}B)I-C_{i}B,i=1,2\dots ,r-1$$
步骤4 计算
$$A^{+}=\frac{r}{tr{C}_{i}B}{C}_i{A}^T$$
注意，$C_{i+1}B=0$，$tr(C_{i}B)\ne 0$。

举例
解 易知$rank(A)=3$。
(1)计算
B = A T A [ 3 0 1 0 3 − 2 1 − 1 7 ] B=A^TA

B=ATA⎣ ⎡​301​03−1​1−27​⎦ ⎤​
(2) 令
C 1 = [ 1 0 0 0 1 0 0 0 1 ] C_1=

[100010001]" role="presentation" style="position: relative;">⎡⎣⎢100010001⎤⎦⎥$$\left[\begin{array}{ccc}1& 0& 0\\ 0& 1& 0\\ 0& 0& 1\end{array}\right]$$

C1​=⎣ ⎡​100​010​001​⎦ ⎤​
(3)计算
C 2 = t r ( C 1 B ) I − C 1 B [ 3 0 1 0 3 − 2 1 − 1 7 ] C_2=tr(C_1B)I-C_1B

[30103−21−17]" role="presentation" style="position: relative;">⎡⎣⎢30103−11−27⎤⎦⎥$$\left[\begin{array}{ccc}3& 0& 1\\ 0& 3& -2\\ 1& -1& 7\end{array}\right]$$

C2​=tr(C1​B)I−C1​B⎣ ⎡​301​03−1​1−27​⎦ ⎤​
(4)计算
C 3 = 1 2 t r ( C 2 B ) I − C 2 B [ 17 − 2 − 3 − 3 20 6 − 3 6 9 ] C_3=\frac{1}{2}tr(C_2B)I-C_2B

[17−2−3−3206−369]" role="presentation" style="position: relative;">⎡⎣⎢17−3−3−2206−369⎤⎦⎥$$\left[\begin{array}{ccc}17& -2& -3\\ -3& 20& 6\\ -3& 6& 9\end{array}\right]$$

C3​=21​tr(C2​B)I−C2​B⎣ ⎡​17−3−3​−2206​−369​⎦ ⎤​
(5)矩阵$A$的Moore-Penrose逆矩阵
A + = 3 C 3 A T t r ( C 3 B ) = 1 48 [ 20 − 16 − 4 12 − 8 16 − 8 24 − 12 0 12 12 ] = 1 12 [ 5 − 4 − 1 3 − 2 4 − 2 6 − 3 0 3 3 ] A^+=\frac{3C_3A^T}{tr(C_3B)}=\frac{1}{48}

[20−16−412−816−824−1201212]" role="presentation" style="position: relative;">⎡⎣⎢20−8−12−16160−4−812122412⎤⎦⎥$$\left[\begin{array}{cccc}20& -16& -4& 12\\ -8& 16& -8& 24\\ -12& 0& 12& 12\end{array}\right]$$

=\frac{1}{12}

[5−4−13−24−26−3033]" role="presentation" style="position: relative;">⎡⎣⎢5−2−3−44−20−16333⎤⎦⎥$$\left[\begin{array}{cccc}5& -4& -1& 3\\ -2& 4-2& 6\\ -3& 0& 3& 3\end{array}\right]$$

A+=tr(C3​B)3C3​AT​=481​⎣ ⎡​20−8−12​−16160​−4−812​122412​⎦ ⎤​=121​⎣ ⎡​5−2−3​−44−20​−163​33​⎦ ⎤​