线性代数学习笔记10-3：奇异值分解SVD（从四个子空间角度理解）

从四个子空间角度理解SVD

$$\mathbf{A}={\mathbf{U}}_{\mathbf{m}\times \mathbf{m}}{\mathbf{\Sigma }}_{\mathbf{m}\times \mathbf{n}}{\mathbf{V}}_{\mathbf{n}\times \mathbf{n}}^{\mathbf{H}}$$

将$\mathbf{A}$视为线性变换，并将整个${\mathbf{R}}^n$空间拆分为两部分，即$\mathbf{A}$的行空间（维数$r$）和零空间（维数$n-r$，行空间的正交补）：

1. $\mathbf{A}$的行空间中，存在第一部分标准正交基${\mathbf{v}}_i(i=1,2,...,r)$
   $\mathbf{A}$对应的线性变换将行空间中的${\mathbf{v}}_i$映射为$\mathbf{A}$的列空间中的一个非零向量${\sigma }_i{\mathbf{u}}_i=\mathbf{A}{\mathbf{v}}_i$（视为对$\mathbf{A}$的列向量的线性组合）；
   A [ v 1 v 2 ⋯ v r ] = [ σ 1 u 1 σ 2 u 2 ⋯ σ r u r ] = [ u 1 u 2 ⋯ u r ] [ σ 1 σ 2 ⋱ σ r ]
   A[v1v2⋯vr]=[σ1u1σ2u2⋯σrur]=[u1u2⋯ur][σ1σ2⋱σr]" role="presentation" style="position: relative;">A[v1v2⋯vr]=[σ1u1σ2u2⋯σrur]=[u1u2⋯ur]⎡⎣⎢⎢⎢⎢⎢σ1σ2⋱σr⎤⎦⎥⎥⎥⎥⎥$$\begin{array}{rl}\mathit{A}\left[\begin{array}{llll}{\mathbf{v}}_1& {\mathbf{v}}_2& \cdots & {\mathbf{v}}_r\end{array}\right]& =\left[\begin{array}{llll}{\sigma }_1{\mathbf{u}}_1& {\sigma }_2{\mathbf{u}}_2& \cdots & {\sigma }_r{\mathbf{u}}_r\end{array}\right]\\ & =\left[\begin{array}{llll}{\mathbf{u}}_1& {\mathbf{u}}_2& \cdots & {\mathbf{u}}_r\end{array}\right]\left[\begin{array}{llll}{\sigma }_1& & & \\ & {\sigma }_2& & \\ & & \ddots & \\ & & & {\sigma }_r\end{array}\right]\end{array}$$
   A[v1​​v2​​⋯​vr​​]​=[σ1​u1​​σ2​u2​​⋯​σr​ur​​]=[u1​​u2​​⋯​ur​​] ​σ1​​σ2​​⋱​σr​​ ​​
   此即${\mathbf{U}}_{m\times n}{\hat{\mathbf{V}}}_{n\times r}={\hat{\mathbf{U}}}_{m\times r}{\hat{\mathbf{\Sigma }}}_{r\times r}$，对应下图中的红色边框部分

注意，$\mathbf{A}$的行空间中的向量$\mathbf{x}$到列空间中的向量$\mathbf{Ax}$映射，为一一映射
也就是说对于行空间中的向量$\mathbf{x}\ne \mathbf{y}$，则必有列空间中的向量$\mathbf{Ax}\ne \mathbf{Ay}$
证明：
反证法：对于行空间的向量$\mathbf{x}\ne \mathbf{y}$，假设有$\mathbf{Ax}=\mathbf{Ay}$
则$\mathbf{A}(\mathbf{x}-\mathbf{y})=0$，这就是说，向量$(\mathbf{x}-\mathbf{y})$在零空间中；
另一方面，向量$(\mathbf{x}-\mathbf{y})$一定在行空间中（两个行空间中的向量的线性组合）
向量$(\mathbf{x}-\mathbf{y})$不可能既在行空间中，又在零空间中，因此假设不成立

2. $\mathbf{A}$的零空间中，有第二部分标准正交基${\mathbf{v}}_i(i=r+1,r+2,...,n)$
   $\mathbf{A}$对应的线性变换将${\mathbf{v}}_i$映射为零向量，满足$\mathbf{A}{\mathbf{v}}_i=0$；
   体现在${\mathbf{\Sigma }}_{m\times n}$中，就是其右下角的0元素，对应上图蓝色边框部分

上面是从$\mathbf{A}=\mathbf{U\Sigma }{\mathbf{V}}^{\mathbf{H}}\Rightarrow \mathbf{AV}=\mathbf{U\Sigma }$的角度出发；
从${\mathbf{A}}^{\mathbf{H}}=\mathbf{V}{\mathbf{\Sigma }}^{\mathbf{H}}{\mathbf{U}}^{\mathbf{H}}\Rightarrow {\mathbf{A}}^{\mathbf{H}}\mathbf{U}=\mathbf{V}{\mathbf{\Sigma }}^{\mathbf{H}}$的角度同理可知：$\mathbf{U}$给出了${\mathbf{A}}^H$的行空间和零空间的标准正交基

结论

我们在$\mathbf{A}$的四个子空间中，寻找了两组合适的基：

• 第一组是${\mathbb{C}}^{n\times n}$空间中的标准正交基，由两部分构成：
  ${\mathbf{v}}_i(i=1,2,...,r)$为行空间中的$r$个标准正交基
  ${\mathbf{v}}_i(i=r+1,r+2,...,n)$为零空间中的标准正交基
• 第二组是${\mathbb{C}}^{m\times m}$空间中的标准正交基，由两部分构成：
  ${\mathbf{u}}_i(i=1,2,...,r)$为列空间中的$r$个标标准正交基
  ${\mathbf{u}}_i(i=r+1,r+2,...,m)$为左零空间中的标准正交基

瘦奇异值分解（thin SVD）

${\mathbb{V}}^m$空间的一组正交基是 U = [ U r U m − r ] = [ u 1 ⋯ u r   ∣   u r + 1 ⋯ u m ] U=

[UrUm−r]" role="presentation" style="position: relative;">[UrUm−r]$$\left[\begin{array}{cc}{U}_r& U_{m-r}\end{array}\right]$$

=

[u1⋯ur | ur+1⋯um]" role="presentation" style="position: relative;">[u1⋯ur | ur+1⋯um]$$\left[\begin{array}{ccccc}{\mathbf{u}}_1& \cdots & {\mathbf{u}}_r|{\mathbf{u}}_{r+1}& \cdots & {\mathbf{u}}_m\end{array}\right]$$

U=[Ur​​Um−r​​]=[u1​​⋯​ur​ ∣ ur+1​​⋯​um​​]
${\mathbb{V}}^n$空间的一组正交基是 V = [ V r V n − r ] = [ v 1 ⋯ v r   ∣   v r + 1 ⋯ v n ] V=

[VrVn−r]" role="presentation" style="position: relative;">[VrVn−r]$$\left[\begin{array}{cc}{V}_r& V_{n-r}\end{array}\right]$$

=

[v1⋯vr | vr+1⋯vn]" role="presentation" style="position: relative;">[v1⋯vr | vr+1⋯vn]$$\left[\begin{array}{ccccc}{\mathbf{v}}_1& \cdots & {\mathbf{v}}_r|{\mathbf{v}}_{r+1}& \cdots & {\mathbf{v}}_n\end{array}\right]$$

V=[Vr​​Vn−r​​]=[v1​​⋯​vr​ ∣ vr+1​​⋯​vn​​]
对应了四个子空间：
A v i = σ i u i ,     i = 1 , … , r A v i = 0 i ,     i = r + 1 , … , n A H u i = σ i v i ,     i = 1 , … , r A H u i = 0 ,     i = r + 1 , … , m ,

Avi=σiui,   i=1,…,rAvi=0i,   i=r+1,…,nAHui=σivi,   i=1,…,rAHui=0,   i=r+1,…,m," role="presentation" style="position: relative;">AviAviAHuiAHui=σiui,   i=1,…,r=0i,   i=r+1,…,n=σivi,   i=1,…,r=0,   i=r+1,…,m,$$\begin{array}{rl}A{\mathbf{v}}_i& ={\sigma }_i{\mathbf{u}}_i,i=1,\dots ,r\\ A{\mathbf{v}}_i& ={\mathbf{0}}_i,i=r+1,\dots ,n\\ A^H{\mathbf{u}}_i& ={\sigma }_i{\mathbf{v}}_i,i=1,\dots ,r\\ A^H{\mathbf{u}}_i& =\mathbf{0},i=r+1,\dots ,m,\end{array}$$

Avi​Avi​AHui​AHui​​=σi​ui​,   i=1,…,r=0i​,   i=r+1,…,n=σi​vi​,   i=1,…,r=0,   i=r+1,…,m,​

实际上其中的$n-r$个${\mathbf{v}}_i$ 和 $m-r$个${\mathbf{u}}_i$是“多余”的
因为只要求它们被映射为零向量（而不要求有$\mathbf{A}{\mathbf{v}}_i={\sigma }_i{\mathbf{u}}_i$的一一映射关系），或者说线性变换$\mathbf{A}$并未对这些向量进行实质性的操作（$\mathbf{A}$将多余的${\mathbf{v}}_i$降维压缩为零向量，而${\mathbf{u}}_i$则是那些线性变换后的新空间中与变换本身无关的多余维度）

从关注线性变换$\mathbf{A}$的本质的角度，我们完全可以忽略零空间和左零空间，只关注行空间和列空间之间的一一映射
那么，有$A$的瘦奇异值分解（thin SVD）如下： A = [ U r U m − r ] [ D 0 0 0 ] [ V r H V n − r H ] = U r D V r H = [ u 1 ⋯ u r ] [ σ 1 ⋱ σ r ] [ v 1 H ⋮ v r H ] = σ 1 u 1 v 1 H + ⋯ + σ r u r v r H ,

A​=[Ur​​Um−r​​][D0​00​][VrH​Vn−rH​​]=Ur​DVrH​=[u1​​⋯​ur​​] ​σ1​​⋱​σr​​ ​ ​v1H​⋮vrH​​ ​=σ1​u1​v1H​+⋯+σr​ur​vrH​,​

理论的统一

前面笔记10-1说过，SVD（$\mathbf{A}=\mathbf{U}\mathbf{\Sigma }{\mathbf{V}}^T$）中，$\mathbf{\Sigma }$奇异值$\sigma \ge 0$；

• 若$\mathbf{A}$为可逆矩阵$r=n$，没有0特征值，
  则${\mathbf{A}}^T\mathbf{A}$和$\mathbf{A}{\mathbf{A}}^T$特征值全为正，为正定矩阵，对应$\mathbf{A}$奇异值全为正；
• 若$\mathbf{A}$为不可逆矩阵$r<n$，有0特征值，
  则${\mathbf{A}}^T\mathbf{A}$和$\mathbf{A}{\mathbf{A}}^T$特征值正数和0，为半正定矩阵，对应$\mathbf{A}$奇异值为正数和0

因此有：
$\mathbf{A}$不可逆（$r<n$）$⟺$
$\mathbf{\Sigma }$对角元为正数和0（存在奇异值为0）$⟺$
$\mathbf{A}$存在零空间（维度$n-r>0$），零空间中的一部分向量${\mathbf{v}}_i$被线性变换$\mathbf{A}$映射为零向量（$\mathbf{A}{\mathbf{v}}_i=0$）$⟺$
$\mathbf{Ax}=0$有非零解 $⟺$
$\mathbf{A}$的列向量组线性相关