线性代数学习笔记5-3：标准正交基、正交矩阵、施密特正交化、QR分解

正交矩阵

一组标准正交向量Orthonormal vectors满足：
q i T q j = { 0 i ≠ j 1 i = j \mathbf{q}_{i}^{T} \mathbf{q}_{j}=\left\{

0i≠j1i=j" role="presentation" style="position: relative;">01i≠ji=j$$\begin{array}{ll}0& i\ne j\\ 1& i=j\end{array}$$

\right. qiT​qj​={01​i=ji=j​
“标准”是指各个向量长度都为1，“正交”指任意两个向量正交；标准正交基础让问题变得简单可控

将一组标准正交向量作为列向量，得到的矩阵为$\mathbf{Q}$
根据上面的性质，这个矩阵一定满足 Q T Q = [ q 1 T q 2 T q 3 T ] [ q 1 q 2 q 3 ] = I \mathbf Q^T\mathbf Q=

=\mathbf I QTQ=⎣ ⎡​q1T​q2T​q3T​​⎦ ⎤​[q1​​q2​​q3​​]=I（但是${\mathbf{Q}}^T\mathbf{Q}\ne \mathbf{I}$，除非$\mathbf{Q}$为方阵）

ps. $\mathbf{Q}$不一定为方阵，例如三维空间中两个正交的基向量，也可以构成一个$\mathbf{Q}$；
但是，如果$\mathbf{Q}$为方阵，则其列向量就是${\mathbf{R}}^n$空间的一组标准正交基（$n$个长度为1的$n\times 1$基向量）

当$\mathbf{Q}$为方阵时，这样以一组标准正交基作为列向量的矩阵称为正交矩阵 Orthogonal matrix
正交矩阵满足${\mathbf{Q}}^T\mathbf{Q}=\mathbf{Q}{\mathbf{Q}}^T=\mathbf{I}$，${\mathbf{Q}}^{-1}={\mathbf{Q}}^T$

正交矩阵举例

• 置换矩阵 Q = [ 0 0 1 1 0 0 0 1 0 ] \boldsymbol{Q}=\left[
  001100010" role="presentation" style="position: relative;">010001100$$\begin{array}{lll}0& 0& 1\\ 1& 0& 0\\ 0& 1& 0\end{array}$$
  \right] Q=⎣ ⎡​010​001​100​⎦ ⎤​
• Q = [ cos ⁡ θ − sin ⁡ θ sin ⁡ θ cos ⁡ θ ] \boldsymbol{Q}=\left[
  cos⁡θ−sin⁡θsin⁡θcos⁡θ" role="presentation" style="position: relative;">cosθsinθ−sinθcosθ$$\begin{array}{rr}\cos \theta & -\sin \theta \\ \sin \theta & \cos \theta \end{array}$$
  \right] Q=[cosθsinθ​−sinθcosθ​]
• Q = 1 2 [ 1 1 1 − 1 ] \boldsymbol{Q}=\frac{1}{\sqrt 2}\left[
  111−1" role="presentation" style="position: relative;">111−1$$\begin{array}{rr}1& 1\\ 1& -1\end{array}$$
  \right] Q=2 ​1​[11​1−1​]，其中$\frac{1}{\sqrt{2}}$是为了保证每个列向量长度都是$1$
• 阿达玛Hadamard矩阵 Q = 1 2 [ 1 1 1 1 1 − 1 1 − 1 1 1 − 1 − 1 1 − 1 − 1 1 ] \boldsymbol{Q}=\frac{1}{2}\left[
  11111−11−111−1−11−1−11" role="presentation" style="position: relative;">11111−11−111−1−11−1−11$$\begin{array}{rrrr}1& 1& 1& 1\\ 1& -1& 1& -1\\ 1& 1& -1& -1\\ 1& -1& -1& 1\end{array}$$
  \right] Q=21​⎣ ⎡​1111​1−11−1​11−1−1​1−1−11​⎦ ⎤​
• 三维空间中两个正交向量组成的矩阵，可以“补出”第三个基向量，得到正交矩阵
  Q = 1 2 [ 1 − 2 2 − 1 2 2 ] \boldsymbol{Q}=\frac{1}{2}\left[
  1−22−122" role="presentation" style="position: relative;">122−2−12$$\begin{array}{rr}1& -2\\ 2& -1\\ 2& 2\end{array}$$
  \right] Q=21​⎣ ⎡​122​−2−12​⎦ ⎤​变为 Q = 1 2 [ 1 − 2 2 2 − 1 − 2 2 2 1 ] \boldsymbol{Q}=\frac{1}{2}\left[
  1−222−1−2221" role="presentation" style="position: relative;">122−2−122−21$$\begin{array}{rrr}1& -2& 2\\ 2& -1& -2\\ 2& 2& 1\end{array}$$
  \right] Q=21​⎣ ⎡​122​−2−12​2−21​⎦ ⎤​

标准正交基/正交矩阵的优势

之前说过，如果想要将一个向量$\mathbf{b}$投影到矩阵$\mathbf{A}$的列空间内，做法是使用投影矩阵$\mathbf{P}$：
将向量$\mathbf{b}$投影到平面上得到的投影为$\mathbf{p}=\mathbf{P}\mathbf{b}$，其中投影矩阵$\mathbf{P}=\mathbf{A}({\mathbf{A}}^T\mathbf{A}{)}^{-1}{\mathbf{A}}^T$

对应这里，如果要将向量投影到正交矩阵$\mathbf{Q}$的列空间内，对应的投影矩阵$$\mathbf{P}=\mathbf{Q}({\mathbf{Q}}^T\mathbf{Q}{)}^{-1}{\mathbf{Q}}^T=\mathbf{Q}{\mathbf{Q}}^T=\mathbf{I}$$
这表明：正交矩阵这个方阵，其列空间就是整个${\mathbf{R}}^n$空间（投影后仍在原点）

之前说过，$\mathbf{A}\mathbf{x}=\mathbf{b}$无解时，转而求解${\mathbf{A}}^T\mathbf{A}\hat{\mathbf{x}}={\mathbf{A}}^T\mathbf{b}$，该方程的解$\tilde{\mathbf{x}}$会是“最优解”

对于正交矩阵$\mathbf{Q}$（或者列向量都为标准正交向量的非方阵$\mathbf{Q}$），直接得到$${\mathbf{Q}}^T\mathbf{Q}\hat{\mathbf{x}}=\hat{\mathbf{x}}={\mathbf{Q}}^T\mathbf{b}$$

采用矩阵的QR分解（后面会介绍，即从列向量线性无关的矩阵$\mathbf{A}$施密特正交化，得到正交矩阵$\mathbf{Q}$）来帮助求解$\mathbf{A}\mathbf{x}=\mathbf{b}$的问题，最大的优势是提高了数值的稳定性

线性无关向量组的标准正交化：施密特正交化Gram-Schmidt

已知一组线性无关的向量，希望用它们导出一组标准正交向量，
或者说，将满秩的矩阵，变为一个正交矩阵，
方法是施密特正交化Gram-Schmidt

例如，对于任意${\mathbf{R}}^n$空间中的三个线性无关向量$\mathbf{a}$、$\mathbf{b}$和$\mathbf{c}$，对应构造的正交的向量为$\mathbf{A}$、$\mathbf{B}$和$\mathbf{C}$

1. 对于$\mathbf{a}$，我们就采用其本身，得到正交化的向量$\mathbf{A}$
   对于$\mathbf{b}$，我们只需要对$\mathbf{A}$做投影$\mathbf{p}$，然后取误差向量$\mathbf{e}=\mathbf{b}-\mathbf{p}$作为正交化的向量$\mathbf{B}$
   （回忆之前的内容，求向量在另一向量上的投影，为$\mathbf{p}=\frac{{\mathbf{a}}^T\mathbf{b}}{{\mathbf{a}}^T\mathbf{a}}\mathbf{a}$）
   因此，$\mathbf{B}=\mathbf{b}-\frac{{\mathbf{A}}^T\mathbf{b}}{{\mathbf{A}}^T\mathbf{A}}\mathbf{A}$
   同理，对于第三个向量$\mathbf{c}$，也是“修剪掉”其“超出”已正交化的两个向量的那部分多余分量，得到
   $\mathbf{C}=\mathbf{c}-\frac{{\mathbf{A}}^T\mathbf{c}}{{\mathbf{A}}^T\mathbf{A}}\mathbf{A}-\frac{{\mathbf{B}}^T\mathbf{c}}{{\mathbf{B}}^T\mathbf{B}}\mathbf{B}$
   
2. 最后，所有正交化的向量，除以其长度，进行“标准化”，得到一组标准正交向量
   ${\mathbf{q}}_1=\frac{\mathbf{A}}{\Vert \mathbf{A}\Vert }$,${\mathbf{q}}_2=\frac{\mathbf{B}}{\Vert \mathbf{B}\Vert }$,${\mathbf{q}}_3=\frac{\mathbf{C}}{\Vert \mathbf{C}\Vert }$

QR分解

在消元部分，学习了矩阵的LU分解得到$\mathbf{A}=\mathbf{LU}$

列向量线性无关的矩阵$\mathbf{A}$的施密特正交化，也可表示为$\mathbf{A}=\mathbf{QR}$形式，并且$\mathbf{Q}$必为上三角阵
另外注意，正交化后列空间不变：$C(\mathbf{A})=C(\mathbf{Q})$（正交化只不过是调整了我们使用的“基向量”，使其正交）

原理：
若有$\mathbf{A}=\mathbf{QR}$，则$\mathbf{R}={\mathbf{Q}}^{-1}\mathbf{A}={\mathbf{Q}}^T\mathbf{A}$（因为$\mathbf{Q}$为正交矩阵），由此我们得到了矩阵$\mathbf{R}$

矩阵$\mathbf{R}$中的元素应该为${\mathbf{q}}_1^T{\mathbf{a}}_1$等，但由于这是向量点积，结果是一个数字，因此下面写作${\mathbf{a}}_1^T{\mathbf{q}}_2$也可以

并且矩阵$\mathbf{R}$必然为上三角阵：

其中，由于${\mathbf{a}}_1$和${\mathbf{q}}_2$必然正交（${\mathbf{q}}_2$来自于${\mathbf{a}}_2$的正交化），因此元素${\mathbf{a}}_1^T{\mathbf{q}}_2=0$

理解：

• 由于矩阵右乘对应于列的线性组合，$\mathbf{A}=\mathbf{QR}$可以视为：矩阵$\mathbf{R}$对于正交矩阵$\mathbf{Q}$的列向量做操作
• 且$\mathbf{Q}$的列向量为一组标准正交基，用$\mathbf{R}$中的元素对标准正交基加权组合，得到了另一组线性无关的向量，即$\mathbf{A}$的列向量
  由此也能进一步理解为何$\mathbf{R}$为上三角矩阵：这样保证了一组标准正交基经过线性组合后，$\mathbf{A}$中不会出现线性相关的向量（每个向量仍然都贡献 / 张成一个新的维度）