[矩阵论] Unit 4. 矩阵的广义逆 - 知识点整理

• 注: 以下内容均由个人整理, 不保证完全准确, 如有纰漏, 欢迎交流讨论
• 参考: 杨明, 刘先忠. 矩阵论(第二版)[M]. 武汉: 华中科技大学出版社, 2005

4 矩阵的广义逆

4.1 矩阵的左逆与右逆

左逆 右逆

Def’ 4.1: 设 $A\in C^{m\times n}$

• $\exists B\in C^{n\times m}$, $BA=I_n$, 则 $B$ 为 $A$ 左逆, 记为 $A_L^{-1}$
• $\exists C\in C^{n\times m}$, $AC=I_m$, 则 $C$ 为 $A$ 右逆, 记为 $A_R^{-1}$

左逆:
必要条件 ⇒ $n=r(BA)\le r(A)\le m$
充要条件:
⟺ $A$ 列满秩(瘦高) $n=rank(A)\le m$
⟺ $A^{H}A$ 可逆 ($A_L^{-1}A=((A^{H}A{)}^{-1}{A}^H)A=I_n$) ⇒ 左逆求法: $A_L^{-1}=(A^{H}A{)}^{-1}{A}^H$
⟺ 零空间 N ( A ) = { 0 } N(A)=\{0\} N(A)={0}

右逆:
必要条件 ⇒ $m=r(AC)\le r(A)\le n$
充要条件:
⟺ $A$ 行满秩(矮胖) $m=rank(A)\le n$
⟺ $A{A}^H$ 可逆 ($A{A}_R^{-1}=A(A^H(A{A}^H{)}^{-1})=I_m$) ⇒ 右逆求法: $A_R^{-1}=A^H(A{A}^H{)}^{-1}$
⟺ 列空间 $R(A)=C^m$

$m\ne n$ 时, 左逆和右逆不可能同时存在

单侧逆求解线性方程组

求解线性方程组: $A_{m\times n}{X}_n=b_m$

左可逆矩阵:

• 条件: $(I_m-A{A}_L^{-1})b=0$
• 唯一解: $(A^{H}A{)}^{-1}{A}^{H}b$ ($A_L^{-1}$ 不唯一, 但 $A_L^{-1}b$ 唯一)
  理解: $A$ 左可逆是列满秩瘦高的矩阵, 相当于 $AX=b$ 有过多等式, 等式个数大于未知数个数, 即 $m>n$, 此时等式过多很可能没有解, 有解也是唯一解.

右可逆矩阵:

• 条件: 无(都有解)
• 多个解: 任一 $A_R^{-1}b$ (所以 $A^H(A{A}^H{)}^{-1}b$ 是一个解)
  理解: $A$ 右可逆是行满秩矮胖的矩阵, 相当于 $AX=b$ 等式个数小于未知数个数, 即 $m<n$, 所以一定有解, 且解不唯一.

4.2 广义逆矩阵

减号广义逆

Def’ 4.2 减号逆: $A\in C^{m\times n}$, 若 $G\in C^{n\times m}$ 使得
$$AGA=A$$
则称矩阵 $G$ 为 $A$ 的减号(广义)逆, 或 {1}-逆.
$A$ 的全部减号逆集合记为 A { 1 } = { A 1 − , A 2 − , . . . } A\{1\}=\{A_1^-,A_2^-,...\} A{1}={A1−​,A2−​,...}

$A$ 可逆, 则 A − 1 ∈ A { 1 } A^{-1}\in A\{1\} A−1∈A{1}
$A$ 单侧可逆, 则 A L − 1 ∈ A { 1 } A_L^{-1}\in A\{1\} AL−1​∈A{1}/ A R − 1 ∈ A { 1 } A_R^{-1}\in A\{1\} AR−1​∈A{1}
$A=0$, 则 A { 1 } = C m × n A\{1\}=C^{m\times n} A{1}=Cm×n

Th 4.5: $A\in C^{m\times n},rank(A)=r$, 若存在可逆阵 $P,Q$ 使 P A Q = [ I r 0 0 0 ] PAQ=

PAQ=[Ir​0​00​], 则 A − ∈ A { 1 } A^-\in A\{1\} A−∈A{1} ⟺
A − = Q [ I r U V W ] n × m P A^-=Q

[IrUVW]" role="presentation" style="position: relative;">[IrVUW]$$\left[\begin{array}{cc}{I}_r& U\\ V& W\end{array}\right]$$

_{n\times m}P A−=Q[Ir​V​UW​]n×m​P
其中 $U\in C^{r\times (m-r)}$, $V\in C^{(n-r)\times r}$, $W\in C^{(n-r)\times (m-r)}$
是任意的.

减号逆性质 $A\in C^{m\times n},A^{-}$:

• $A$ 可逆时减号逆唯一.
• $rank(A)\le rank(A^{-})$ ( A − ∼ [ I r U V W ] A^-\sim
  [IrUVW]" role="presentation" style="position: relative;">[IrVUW]$$\left[\begin{array}{cc}{I}_r& U\\ V& W\end{array}\right]$$
  A−∼[Ir​V​UW​])
• $A{A}^{-}$ 与 $A^{-}A$ 都是幂等阵, 且 $rank(A)=rank(A{A}^{-})=rank(A^{-})$
• $R(A{A}^{-})=R(A)$, $N(A^{-}A)=N(A)$

减号逆求法

目标: 求 $A\in C^{m\times n}$ 的减号逆 $A^{-}\in C^{n\times m}$

1. 构造增广矩阵
   [ A I I 0 ] \left[
   AII0" role="presentation" style="position: relative;">AII0$$\begin{array}{cc}A& I\\ I& 0\end{array}$$
   \right] [AI​I0​​]
2. 对该增广矩阵先进行行初等变换得到最简形; 再进行列初等变换, 至最简形每一行只有最左侧一个"1", 即 $A$ 转换为 [ I r 0 0 0 ]
   [Ir000]" role="presentation" style="position: relative;">[Ir000]$$\left[\begin{array}{cc}{I}_r& 0\\ 0& 0\end{array}\right]$$
   [Ir​0​00​] , 此时增广矩阵即为:
   [ ( I r 0 0 0 ) P Q 0 ] \left[
   (Ir000)PQ0" role="presentation" style="position: relative;">(Ir000)QP0$$\begin{array}{cc}\left(\begin{array}{cc}{I}_r& 0\\ 0& 0\end{array}\right)& P\\ Q& 0\end{array}$$
   \right] ⎣⎡​(Ir​0​00​)Q​P0​​⎦⎤​
3. 由上述增广矩阵得到 $P,Q$, 取大小符合的任意 $U,V,W$ 构成 [ I r U V W ] n × m
   [IrUVW]" role="presentation" style="position: relative;">[IrVUW]$$\left[\begin{array}{cc}{I}_r& U\\ V& W\end{array}\right]$$
   _{n\times m} [Ir​V​UW​]n×m​

减号逆求解线性方程组

设 A ∈ C m × n , A − ∈ A { 1 } A\in C^{m\times n}, A^-\in A\{1\} A∈Cm×n,A−∈A{1}. 若 $A_{m\times n}{X}_n=b_m$ 有解, 则其通解可表示为: $X=A^{-}b+(I_n-A^{-}A)z$, $z\in C^n$ 任意.
($A^{-}b$ 为 $AX=b$ 特解, $(I_n-A^{-}A)z$ 为 $Ax=0$ 通解)

M-P 广义逆(加号广义逆)

Def 4.3’ 加号逆: 设矩阵 $A\in C^{m\times n}$, 若 $\exists G\in C^{n\times m}$ 使得:
$AGA=A$
$GAG=G$
$(AG{)}^H=AG$
$(GA{)}^H=GA$
则称 $G$ 为 $A$ 的 M-P 广义逆(加号逆), 记为 $G=A^{+}$.

矩阵的加号逆存在且唯一.

加号逆性质 $A\in C^{m\times n},A^{+}$:

• $(A^{+}{)}^{+}=A$
• $(A^{+}{)}^H=(A^H{)}^{+}$
• $(\lambda A{)}^{+}={\lambda }^{+}{A}^{+}$, 其中 λ + = { 1 λ , λ ≠ 0 0 , λ = 0 \lambda^+=
  {1λ,λ≠00,λ=0" role="presentation" style="position: relative;">{1λ,0,λ≠0λ=0$$\{\begin{array}{ll}\frac{1}{\lambda },& \lambda \ne 0\\ 0,& \lambda =0\end{array}$$
  λ+={λ1​,0,​λ​=0λ=0​
• $A$ 列满秩: $A^{+}=(A^{H}A{)}^{-1}{A}^H$ (左逆的特殊解)
  $A$ 行满秩: $A^{+}=A^H(A{A}^H{)}^{-1}$ (右逆的特殊解)
• $A$ 有满秩分解: $A=BC$, 则 $A^{+}=C^{+}{B}^{+}\text{A+=C+B+}{A}^{+}=C^{+}{B}^{+}$
• $rank(A)=rank(A^{+})=rank(A{A}^{+})=rank(A^{+}A)$

加号逆求法

目标: 求 $A\in C^{m\times n}$ 的加号逆 $A^{+}\in C^{n\times m}$

法一:

1. 对 $A$ 进行满秩分解, 得到列满秩和行满秩的 $B,C$
2. 利用左右逆的特殊解求 $B,C$ 的加号逆: $B^{+}=(B^{H}B{)}^{-1}{B}^H$, $C^{+}=C^H(C{C}^H{)}^{-1}$
3. 求得 $A$ 的加号逆 $A^{+}=C^{+}{B}^{+}$

法二:

1. 对 $A$ 进行奇异值分解, 得 A = U m × m [ Δ 0 0 0 ] m × n V n × n H A=U_{m\times m}
   [Δ000]" role="presentation" style="position: relative;">[Δ000]$$\left[\begin{array}{cc}\mathrm{\Delta }& 0\\ 0& 0\end{array}\right]$$
   _{m\times n}V^H_{n\times n} A=Um×m​[Δ0​00​]m×n​Vn×nH​
2. 则矩阵加号逆:
   A + = V [ Δ − 1 0 0 0 ] n × m U H A^+=V
   [Δ−1000]" role="presentation" style="position: relative;">[Δ−1000]$$\left[\begin{array}{cc}{\mathrm{\Delta }}^{-1}& 0\\ 0& 0\end{array}\right]$$
   _{n\times m}U^H A+=V[Δ−10​00​]n×m​UH

特殊矩阵的加号逆:

• $[0{]}_{m\times n}^{+}=[0{]}_{n\times m}$
• $[a{]}^{+}=[\frac{1}{a}]$
• $diag({\lambda }_1,...,{\lambda }_n{)}^{+}=diag({\lambda }_1^{+},...,{\lambda }_n^{+})$
• 非零向量 $x=(x_1,...,x_n{)}^T$, $x^{+}=\frac{x^H}{||x|{|}^2}$

4.3 投影变换

投影变换 投影矩阵

Def’ 4.4: 设 $C^n=L\oplus M$, 向量 $x\in C^n$, $x=y+z,y\in L,z\in M$, 如果线性变换 $\sigma :C^n\to C^n$, $\sigma (x)=y$, 则称 $\sigma$ 为从 $C^n$ 沿子空间 $M$ 到子空间 $L$ ($y\in L$)的投影变换. 投影变换在 $C^n$ 空间的一组基下的矩阵称为投影矩阵．

$$C^n=R(\sigma )\oplus N(\sigma )$$

• $R(\sigma )=L$: 像空间
• $N(\sigma )=M$: 核空间

$C^n$ 上线性变换 $\sigma$ 是投影变换 ⟺ $\sigma$ 是幂等变换 ⟺ 变换矩阵在某组基下是幂等矩阵 $A^2=A$

自然基下投影矩阵求法:
到 $L$ 的投影矩阵: $A=(B|0)(B|C{)}^{-1}$
到 $M$ 的投影矩阵: $\tilde{A}=I_n-A$

• $B$: 空间 $L$ 的基构成的矩阵
• $C$: 空间 $M$ 的基构成的矩阵

正交投影变换

Def’ 4.5: $\sigma$ 是 $C^n$ 上投影变换 $C^n=R(\sigma )\oplus N(\sigma )$. 若 $R(\sigma )$ 正交补子空间 $R(\sigma {)}^{\perp }=N(\sigma )$, 则 $\sigma$ 是正交投影变换.

$C^n$ 上线性变换 $\sigma$ 是正交投影变换 ⟺ 变换矩阵在某组基下是幂等 Hermite 矩阵 $A^2=A,A^H=A$

正交投影变换(向量)表示: $P(x)=x-(x,u)u$, $u$ 为投影平面的法向

自然基下正交投影矩阵求法: $B^{H}C=0$
到 $L$ 的投影矩阵: $A=(B|0)(B|C{)}^{-1}=B(B^{H}B{)}^{-1}{B}^H$
到 $M$ 的投影矩阵: $\tilde{A}=I_n-A=C(C^{H}C{)}^{-1}{C}^H$

• $B$: 空间 $L$ 的基构成的矩阵
• $C$: 空间 $M$ 的基构成的矩阵

正交投影变换性质:
Th 4.16: 设 $W$ 是 $C^n$ 的子空间, $x_0\in C^n,x_0\in W$, 如果 $\sigma$ 是空间 $C^n$ 向空间 $W$ 的正交投影, 则:
$$||\sigma (x_0)-x_0||\le ||y-x_0||,\forall y\in W$$
含义: 点 $\sigma (x_0)$ 是空间 $W$ 中与点 $x_0$ 距离最近的点

正交投影与 $A^{+}A$ $A{A}^{+}$

Th 4.15: $A\in C^{m\times n}$
$A^{+}A\in C^{n\times n}$ 性质:

• $(A^{+}A{)}^2=A^{+}A,(A^{+}A{)}^H=A^{+}A$
• { C n = R ( A + ) ⊕ N ( A ) R ( A + ) ⊥ = N ( A )
  {Cn=R(A+)⊕N(A)R(A+)⊥=N(A)" role="presentation" style="position: relative;">{Cn=R(A+)⊕N(A)R(A+)⊥=N(A)$$\{\begin{array}{l}{C}^n=R(A^{+})\oplus N(A)\\ R(A^{+}{)}^{\perp }=N(A)\end{array}$$
  {Cn=R(A+)⊕N(A)R(A+)⊥=N(A)​
  { C n = R ( A + A ) ⊕ N ( A + A ) R ( A + A ) = R ( A + ) , N ( A + A ) = N ( A )
  {Cn=R(A+A)⊕N(A+A)R(A+A)=R(A+),N(A+A)=N(A)" role="presentation" style="position: relative;">{Cn=R(A+A)⊕N(A+A)R(A+A)=R(A+),N(A+A)=N(A)$$\{\begin{array}{l}{C}^n=R(A^{+}A)\oplus N(A^{+}A)\\ R(A^{+}A)=R(A^{+}),N(A^{+}A)=N(A)\end{array}$$
  {Cn=R(A+A)⊕N(A+A)R(A+A)=R(A+),N(A+A)=N(A)​
  含义: $A^{+}A$ 是正交投影, 它将向量 $x$ 投影到空间 $R(A+)$ 中

$A{A}^{+}\in C^{m\times m}$ 性质:

• $(A{A}^{+}{)}^2=A{A}^{+},(A^{+}A{)}^H=A{A}^{+}$
• { C m = R ( A ) ⊕ N ( A + ) R ( A ) ⊥ = N ( A + )
  {Cm=R(A)⊕N(A+)R(A)⊥=N(A+)" role="presentation" style="position: relative;">{Cm=R(A)⊕N(A+)R(A)⊥=N(A+)$$\{\begin{array}{l}{C}^m=R(A)\oplus N(A^{+})\\ R(A{)}^{\perp }=N(A^{+})\end{array}$$
  {Cm=R(A)⊕N(A+)R(A)⊥=N(A+)​
  { C m = R ( A A + ) ⊕ N ( A A + ) R ( A A + ) = R ( A ) , N ( A A + ) = N ( A + )
  {Cm=R(AA+)⊕N(AA+)R(AA+)=R(A),N(AA+)=N(A+)" role="presentation" style="position: relative;">{Cm=R(AA+)⊕N(AA+)R(AA+)=R(A),N(AA+)=N(A+)$$\{\begin{array}{l}{C}^m=R(A{A}^{+})\oplus N(A{A}^{+})\\ R(A{A}^{+})=R(A),N(A{A}^{+})=N(A^{+})\end{array}$$
  {Cm=R(AA+)⊕N(AA+)R(AA+)=R(A),N(AA+)=N(A+)​
  含义: $A{A}^{+}$ 是正交投影, 它将向量 $x$ 投影到空间 $R(A)$ 中
  

4.4 最佳的最小二乘解

最小二乘解 最佳最小二乘解

$A\in C^{m\times n},b\in C^m$
最小二乘解 $u\in C^n$ ⟺ $||Au-b||\le ||Ax-b||,\forall x\in C^n$
最佳最小二乘解 $x_0\in C^n$ ⟺ $||x_0|{|}_2\le ||u|{|}_2$

$Ax=b$ 最佳最小二乘解

有解性判断:
$A_{m\times n}{x}_n=b_m$

• 有解 ⟺ $b\in R(A)$
• 无解 ⟺ $b\notin R(A)$

$x^0=A^{+}b$ 是 $A_{m\times n}{x}_n=b_m$ 的最佳最小二乘解.

最佳拟合曲线

利用数据 $(x_1,y_1),...(x_n,y_n)$使具有两个参数 ${\beta }_1,{\beta }_2$ 的经验公式 $f(x,y)$ 误差最小
方法:

1. 根据经验公式 $f(x,y)$ 并代入数据构造矩阵方程
   [ x 1 y 1 ⋯ ⋯ x n y n ] [ β 1 β 2 ] = [ ⋯ ]
   [x1y1⋯⋯xnyn]" role="presentation">⎡⎣⎢x1⋯xny1⋯yn⎤⎦⎥$$\left[\begin{array}{cc}{x}_1& y_1\\ \cdots & \cdots \\ x_n& y_n\end{array}\right]$$
   [β1β2]" role="presentation">[β1β2]$$\left[\begin{array}{c}{\beta }_1\\ {\beta }_2\end{array}\right]$$
   =
   [⋯]" role="presentation">⎡⎣⎢⋯⎤⎦⎥$$\left[\begin{array}{c}\\ \cdots \\ \end{array}\right]$$
   ⎣⎡​x1​⋯xn​​y1​⋯yn​​⎦⎤​[β1​β2​​]=⎣⎡​⋯​⎦⎤​
2. 求 $Ax=b$ 的最佳最小二乘解 $A^{+}b$ 确定 ${\beta }_1,{\beta }_2$
3. 误差即 $||A\beta -b|{|}_2$