矩阵分析与应用(20)

矩阵分析与应用(20)

学习来源：《矩阵分析与应用》张贤达清华大学出版社

奇异值分解

一、矩阵奇异值与矩阵的关系

        矩阵的奇异值与矩阵的范数、行列式、条件数、特征值等有密切关系。

1. 奇异值与范数的关系

        矩阵  的谱范数等于  的最大奇异值，即

$\left \| A \right \|_{spec}=\sigma_1$

根据矩阵的奇异值分解定理，由于矩阵  的 Frobenius 范数 $\left \| A \right \|_F$ 是酉不变的，即

$\left \| U^HAV \right \|_F=\left \| A \right \|_F$

因此，有

$\left \| A \right \|_F=\left [ \sum_{i=1}^{m}\sum_{j=1}^{n}\left | a_{ij} \right |^2 \right ]^{\frac{1}{2}}$

$=\left \| U^HAV \right \|_F-\left \| \Sigma \right \|_F$

$=\sqrt{\sigma_1^2+\sigma_2^2+\cdots +\sigma_r^2}$

也就是说，任何一个矩阵的 Frobenius 范数等于该矩阵所有非零奇异值平方和的正平方根。

2. 奇异值与行列式的关系

        设  是 $n\times n$ 正方矩阵。由于酉矩阵的行列式的绝对值为 1 ，所以有

$\left | det(A) \right |=\left | det\Sigma \right |=\sigma_1\sigma_2\cdots \sigma_n$

当所有的 $\sigma_i$ 都不为零，则  是非奇异的；当存在 $\sigma_i$ 为零时，则  是奇异的。

        对于一个 $n\times n$ 矩阵  ，以下不等式均成立：

$\left\{\begin{matrix} n\sigma_1\geqslant \left \| A \right \|_F \geqslant \sigma_1\\ \sigma_1^n\geqslant \sigma_1^{n-1}\sigma_n\geqslant \left | det(A) \right |\geqslant \sigma_n^n\\ \left \| A \right \|_F\geqslant \sigma_1\geqslant \left | det(A) \right |^{\frac{1}{n}}\\ \left | det(A) \right |^{\frac{1}{n}}\geqslant \sigma_n\geqslant \frac{\left | det(A) \right |}{\left \| A \right \|_F^{n-1}}\\ \frac{\left \| A \right \|_F^n}{\left | det(A) \right |}\geqslant \frac{\sigma_1}{\sigma_n}\geqslant max\left \{ 1,\frac{1}{n}\frac{\left \| A \right \|_F}{\left | det(A) \right |^{\frac{1}{n}}} \right \} \end{matrix}\right.$

3. 奇异值与条件数的关系

        对于一个 $m\times n$ 矩阵  ，其条件数可以利用奇异值定义为

$cond(A)=\frac{\sigma_1}{\sigma_p},\qquad p=min\left \{ m,n \right \}]$

因为 $\sigma_1 \geqslant \sigma_p$ ，所以条件数是一个大于或等于 1 的正数。对于一个奇异矩阵来说，由于至少有一个奇异值 $\sigma_p=0$ ，因此奇异矩阵的条件数为无穷大；当一个矩阵的条件数不是无穷大但很大时，称矩阵  是接近奇异的。它的意思是，当矩阵的条件数很大时，矩阵  的行向量或列向量的线性相关性很强。

        对于方程  ，的奇异值分解为

$A^HA=V\Sigma^2V^H$

即矩阵  的最大和最小奇异值分别是矩阵  的最大和最小奇异值的平方，所以

$cond(A^HA)=\frac{\sigma_1^2}{\sigma_n^2}=\left [ cond(A) \right ]^2$

也就是说，矩阵  的条件数是矩阵  的条件数的平方。

4. 奇异值与特征值的关系

        设 $n\times n$ 正方对称矩阵  的特征值为 $\lambda_1,\lambda_2,\cdots ,\lambda_n(\left | \lambda_1 \right | \geqslant \left | \lambda_2 \right | \geqslant \cdots \geqslant \left | \lambda_n \right |)$ ，奇异值为 $\sigma_1,\sigma_2,\cdots ,\sigma_n(\sigma_1\geqslant \sigma_2\geqslant \cdots \geqslant \sigma_n\geqslant 0)$ ，则

$\sigma_1\geqslant \left | \lambda_i \right |\geqslant \sigma_n(i=1,2,\cdots ,n),\quad cond(A)\geqslant \frac{\left | \lambda_1 \right |}{\left | \lambda_n \right |}$

二、奇异值的性质汇总

1. 奇异值服从的等式关系

1）矩阵 $A_{m\times n}$ 和其复共轭转置矩阵  具有相同的奇异值。

2）矩阵 $A_{m\times n}$ 的非零奇异值是  或  的非零特征值的正平方根。

3） $\sigma> 0$ 是矩阵矩阵 $A_{m\times n}$ 的单奇异值，当且仅当 $\sigma^2$ 是  或  的单特征值。

4）若 $p=min\left \{ m,n \right \}$ ，且 $\sigma_1,\sigma_2,\cdots ,\sigma_p$ 是矩阵 $A_{m\times n}$ 的奇异值，则

$tr(A^HA)=\sum_{i=1}^{p}\sigma_i^2$

5）矩阵行列式的绝对值等于矩阵奇异值的乘积，即

$\left | det(A) \right |=\sigma_1\sigma_2\cdots \sigma_n$

6）矩阵  的谱范数等于  的最大奇异值，即 $\left \| A \right \|_{spec}=\sigma_{max}$ 。

7）若 $m\geqslant n$ ，则对于矩阵 $A_{m\times n}$ ，有

$\sigma_{min}(A)=min\left \{ \left $\frac{x^HA^HAx}{x^Hx}\right $^{\frac{1}{2}}:x\neq 0 \right \}$

$=min\left \{ \left $x^HA^HAx \right $^{\frac{1}{2}} :x^Hx=1,x\in C^n\right \}$

8）若 $m\geqslant n$ ，则对于矩阵 $A_{m\times n}$ ，有

$\sigma_{max}(A)=max\left \{ \left $\frac{x^HA^HAx}{x^Hx}\right $^{\frac{1}{2}}:x\neq 0 \right \}$

$=max\left \{ \left $x^HA^HAx \right $^{\frac{1}{2}} :x^Hx=1,x\in C^n\right \}$

9）若 $m\times m$ 矩阵非奇异，则

$\frac{1}{\sigma_{min}(A)}=max\left \{ \left ( \frac{x^H(A^{-1})^HA^{-1}x}{x^Hx} \right )^{\frac{1}{2}}:x\neq 0,x\in C^n \right \}$

10）若 $A=U\begin{bmatrix} \Sigma_1 &O \\ O& O \end{bmatrix}V^H$ 是 $m\times n$ 矩阵的奇异值分解，则的 Moose-Penrose 逆矩阵

$A^\dagger=V\begin{bmatrix} \Sigma_1^{-1} &O \\ O& O \end{bmatrix}U^H$

11）若 $\sigma_1,\sigma_2,\cdots ,\sigma_p$ 是 $m\times n$ 矩阵的非零奇异值（其中， $p=min\left \{ m,n \right \}$ ），则矩阵 $\begin{bmatrix} O & A\\ A^H& O \end{bmatrix}$ 具有个非零奇异值 $\sigma_1,\cdots ,\sigma_p,-\sigma_1,\cdots ,-\sigma_p$ 和 $\left | m-n \right |$ 个零奇异值。

2. 奇异值服从的不等式关系

1）若和是 $m\times n$ 矩阵，则对于 $1\leqslant i,j\leqslant p,i+j\leqslant p+1(p=min\left \{ m,n \right \})$ ，有

$\sigma_{i+j-1}(A+B)\leqslant \sigma_i(A)+\sigma_j(B)$

特别地，当时， $\sigma_i(A+B)\leqslant \sigma_i(A)+\sigma_i(B),i=1,2,\cdots ,p$ 成立。

2）对矩阵 $A_{m\times n},B_{m\times n}$ ，有

$\sigma_{max}(A+B)\leqslant \sigma_{max}(A)+\sigma_{max}(B)$

3）若  和是 $m\times n$ 矩阵，则

$\sum_{j=1}^{p}\left [ \sigma_j(A+B)-\sigma_j(A) \right ]^2 \leqslant \sigma_{max}(A)+\sigma_{max}(B)$

4）若 $A_{m\times n}=[a_1,a_2,\cdots ,a_m]$ 的奇异值 $\sigma_1(A)\geqslant \sigma_2(A)\geqslant \cdots \geqslant \sigma_m(A)$ ，则

$\sum_{j=1}^{k}[\sigma_{m-k+j}(A)]^2\leqslant \sum_{j=1}^{k}a_j^Ha_j\leqslant \sum_{j=1}^{k}[\sigma_j(A)]^2,\quad k=1,2,\cdots ,m$

5）若 $p=min\left \{ m,n \right \}$ ，且 $A_{m\times n}$ 和 $B_{m\times n}$ 的奇异值排列为 $\sigma_1(A)\geqslant \sigma_2(A)\geqslant \cdots \geqslant \sigma_p(A)$ ， $\sigma_1(B)\geqslant \sigma_2(B)\geqslant \cdots \geqslant \sigma_p(B)$ 和 $\sigma_1(A+B)\geqslant \sigma_2(A+B)\geqslant \cdots \geqslant \sigma_p(A+B)$ ，则

$\sigma_{i+j-1}(AB^H)\leqslant \sigma_i(A)\sigma_j(B),\quad 1\leqslant i,j\leqslant p,\quad i+j\leqslant p+1$

6）设 $m\times (n-1)$ 矩阵  是去掉 $m\times n$ 矩阵  的任意一列得到的矩阵，且它们的奇异值都按照非降序排列，则

$\sigma_1(A)\geqslant \sigma_1(B)\geqslant \sigma_2(A)\geqslant \sigma_2(B)\geqslant \cdots \geqslant \sigma_h(A)\geqslant \sigma_h(B)\geqslant 0$

式中， $h=min\left \{ m,n-1 \right \}$ 。

7）设 $(m-1)\times n$ 矩阵  是去掉 $m\times n$ 矩阵  的任意一行的到的矩阵，且它们的奇异值按照非降序排列，则

$\sigma_1(A)\geqslant \sigma_1(B)\geqslant \sigma_2(A)\geqslant \sigma_2(B)\geqslant \cdots \geqslant \sigma_h(A)\geqslant \sigma_h(B)\geqslant 0$

式中， $h=min\left \{ m,n-1 \right \}$ 。

8）矩阵 $A_{m\times n}$ 的最大奇异值满足不等式

$\sigma_{max }(A)\geqslant \left [ \frac{1}{n}tr(A^HA) \right ]^{\frac{1}{2}}$
相关阅读:
人工智能与设计的未来趋势,人工智能和建筑设计
 MATLAB/Python编程：绘制一维和二维的分布直方图
 Windows 内网渗透之攻击域控
 linq to sql性能优化技巧
 MHA高可用
 nodejs+vue中小学课程辅导系统-计算机毕业设计
 2022-06-28管理心得
 戴尔大步进军经典量子计算混合模型
 DJ12-2-2 算术运算指令
 [AIGC] Maven 简介: Java 项目构建的利器
原文地址：https://blog.csdn.net/qq_40206924/article/details/126182157

奇异值分解

一、矩阵奇异值与矩阵的关系

1. 奇异值与范数的关系

2. 奇异值与行列式的关系

3. 奇异值与条件数的关系

4. 奇异值与特征值的关系

二、奇异值的性质汇总

1. 奇异值服从的等式关系

2. 奇异值服从的不等式关系