学习来源：《矩阵分析与应用》 张贤达 清华大学出版社

一、矩阵分解的分类

        矩阵的分解是指通过线性变换，将某个给定或已知的矩阵分解为两个或三个矩阵标准型的乘积（或两个矩阵标准型之和）。

        根据矩阵分解后得到的矩阵的标准型以及是对单个矩阵还是矩阵束（由两个矩阵组成）或矩阵对进行分解来区分矩阵分解的类别。

1. 单个矩阵的分解

        根据矩阵  分解后的矩阵的标准型，可以分为以下四大类。

1）对角化分解：

        通过正交变换，将矩阵  对角化，又包含三种形式。

        ① 奇异值分解（SVD）： 或  ，其中，  和  为酉矩阵， 为对角矩阵。主要针对一般矩阵的对角化分解。

        ② 特征值分解（EVD）： 或  。主要针对对称矩阵的对角化分解。

        ③ CS分解：可以看作是正交矩阵分块的同时对角化分解。

2）三角化分解：

        将矩阵  分解为正交矩阵与三角矩阵之积，或分解为一个上三角矩阵与一个下三角矩阵之积，主要有三种形式。

        ① Cholesky 分解： ，其中， 为下三角矩阵。主要针对对称正定矩阵的三角化分解。

        ② QR 分解： 或  ，其中， 是正交矩阵， 是上三角矩阵。主要针对一般矩阵的三角化分解。

        ③ LU 分解： ，其中， 是单位下三角矩阵， 是上三角矩阵。主要针对非奇异矩阵的三角化分解。

3）三角 — 对角化分解：

        将矩阵分解为三个矩阵标准型（两个三角矩阵和一个对角矩阵）之积，或分解为两个矩阵标准型（对角矩阵和上三角矩阵）之和。主要有以下形式

        ①  分解： ，其中， 和  为单位下三角矩阵， 为对角矩阵。主要针对非对称矩阵的三角 — 对角化分解。

        ②  分解： 。主要针对对称矩阵的三角 — 对角化分解。

        ③  分解： ，其中， 为酉矩阵， 为对角矩阵， 是严格上三角矩阵。主要针对复矩阵的三角 — 对角化分解。

4）三对角化分解：

        Householder 三对角化分解： ，其中， 为 Householder 变换之积，且  是三对角矩阵。

2. 矩阵束的分解

        矩阵束的分解主要用于求解矩阵束的广义特征值分解问题  中的  方法中，涉及两个矩阵的同时分解。这种分解的主要形式是广义 Schur 分解。

        广义 Schur 分解： 和  ，其中， 和  为酉矩阵， 和  为上三角矩阵。

        实现广义 Schur 分解需要先使用 Hessenberg 三对角化分解： 和  ，其中， 和  为正交矩阵， 为上 Hessenberg 矩阵， 是上三角矩阵。

二、对角化分解

        定理（CS 分解）：若  矩阵

是正交的，其中， 是  矩阵，且  ，则存在正交矩阵  和正交矩阵  使得

其中

且  。

简单来说，CS 分解相当于将一个正交矩阵的各个分块同时对角化。

三、Cholesky 分解和 LU 分解

1. Cholesky 分解

        设  是对称正定矩阵，则 称为矩阵  的 Cholesky 分解，其中， 为下三角矩阵且对角线元素为正，即

        下三角矩阵  称为 Cholesky 三角。此外，Cholesky 分解也称为“平方根法”，因为下三角矩阵  可以看作矩阵  的“平方根”。

        一个非奇异矩阵  的逆矩阵  也可以通过 Cholesky 分解求得，即

其中， 。

2. LU 分解

        考虑到求解线性方程组  时，通过正交变换，将  矩阵  分解为  ，其中， 为  单位下三角矩阵且  是  的  阶梯型矩阵；此时令  ，方程组  变为先求解  ，解之得  。在求解  得到方程组的解向量  。

        于是，通过矩阵的  分解，线性方程组  的求解分为两个三角矩阵方程的求解，步骤如下：

1）计算 ；

2）求解下三角矩阵方程  ；

3）求解上三角矩阵方程  。

因此关键就是矩阵  的 LU 分解。

        定理（LU 分解）：若  非奇异，且  的 LU 分解存在，则  的 LU 分解是唯一的，且