线性代数学习笔记11-3：总复习（习题）

Eg1 矩阵乘法和齐次方程

对于$A=[{\mathbf{v}}_1{\mathbf{v}}_2{\mathbf{v}}_3]$，有方程$\mathbf{A}\mathbf{x}={\mathbf{v}}_1-{\mathbf{v}}_2+{\mathbf{v}}_3$

• 求解方程$\mathbf{A}\mathbf{x}={\mathbf{v}}_1-{\mathbf{v}}_2+{\mathbf{v}}_3$
  根据矩阵乘法，直接可得解为$x=\left[\begin{array}{c}1\\ -1\\ 1\end{array}\right]$
• 若${\mathbf{v}}_1-{\mathbf{v}}_2+{\mathbf{v}}_3=0$，方程$\mathbf{A}\mathbf{x}=0$的解是否唯一？
  解是否唯一，看零空间的维数即可：根据${\mathbf{v}}_1-{\mathbf{v}}_2+{\mathbf{v}}_3=0$，列线性相关，秩$r<n$，零空间维数$n-r>0$，因此零空间有非零向量，$\mathbf{A}\mathbf{x}=0$有无穷个非零解；
  理解二：由于列线性相关，$\mathbf{A}$对应降维的变换，从而有一个空间被压缩到原点，$\mathbf{A}\mathbf{x}=0$有无穷个非零解；

Eg2.1 方程解的结构

对于$m\times n$的秩为$r$的矩阵，已知①方程$\mathbf{A}\mathbf{x}=\left[\begin{array}{l}1\\ 0\\ 0\end{array}\right]$无解；②$\mathbf{A}\mathbf{x}=\left[\begin{array}{l}0\\ 1\\ 0\end{array}\right]$有唯一解；

• 求$m,n,r$的范围
  Ⅰ. 首先，矩阵乘法要求$m=3$
  Ⅱ. 由①，方程无解，必然意味着消元后出现“0=1”，也即行向量相关（必要不充分），则秩$r<m$
  理解二：方程消元后，若每行有一个主元（行满秩$r=m$/行向量线性无关），则方程必有解；
  而方程无解必然意味着消元后主元数<行数/行不满秩/行向量相关，即$r<m$
  Ⅲ. 由②，非齐次方程有唯一解，则齐次方程$\mathbf{A}\mathbf{x}=0$有唯一零解（通解=特解+零空间），故零空间仅有零向量，零空间维度$n-r=0$，$r=n$；
  理解二：$\mathbf{A}$不是降维的变换，则变换后基向量个数不变，$r=n$
  最终，$r=n<m=3$
• 写出一个符合条件的$\mathbf{A}$
  $\mathbf{A}$秩为1的例子是$\mathbf{A}=\left[\begin{array}{l}0\\ 1\\ 0\end{array}\right]$；$\mathbf{A}$秩为2的例子是$\mathbf{A}=\left[\begin{array}{ll}0& 0\\ 1& 0\\ 0& 1\end{array}\right]$（保证方程①消元后第一行出现“0=1”，而方程②有解即可）
• 求证：对于任意的$\mathbf{c}$，方程至少有${\mathbf{A}}^T\mathbf{y}=\mathbf{c}$一个解
  由于方程消元后，若每行有一个主元（行满秩$r=m$/行向量线性无关），则方程必有解；
  又因为已知$r=n$，故${\mathbf{A}}^T$行满秩，满足上述条件
  另外关注解的个数： ${\mathbf{A}}^T$零空间（即$\mathbf{A}$左零空间）维数$m-r>0$，方程${\mathbf{A}}^T\mathbf{y}=\mathbf{c}$有无穷个解

Eg2.2 ${\mathbf{A}}^T\mathbf{A}$

对于上一题的$\mathbf{A}$，$r=n<m=3$，判断下列命题是否成立
①${\mathbf{A}}^T\mathbf{A}$可逆
②$\mathbf{A}{\mathbf{A}}^T$正定
③$det({\mathbf{A}}^T\mathbf{A})=det(\mathbf{A}{\mathbf{A}}^T)$

• ①真命题。根据以前的知识，列满秩$r=n$则${\mathbf{A}}^T\mathbf{A}$必为正定矩阵，其行列式>0必可逆
• ②假命题。两矩阵相乘，秩不会增大，因此$m$阶方阵$\mathbf{A}{\mathbf{A}}^T$的秩最多为$r<m$，不是列满秩，因此不可能为正定矩阵
• ③假命题。由上，${\mathbf{A}}^T\mathbf{A}$可逆（行列式>0）而$\mathbf{A}{\mathbf{A}}^T$不可逆，故$det({\mathbf{A}}^T\mathbf{A})\ne det(\mathbf{A}{\mathbf{A}}^T)$

注意，对于方阵$\mathbf{A}$和方阵$\mathbf{B}$，必然有$det(\mathbf{A}\mathbf{B})=det(\mathbf{A})det(\mathbf{B})=det(\mathbf{B}\mathbf{A})$；对于非方阵则不成立

Eg3 Markov矩阵、差分方程与稳态

已知Markov矩阵$\mathbf{A}=\left[\begin{array}{ccc}0.2& 0.4& 0.3\\ 0.4& 0.2& 0.3\\ 0.4& 0.4& 0.4\end{array}\right]$

• 求特征值
  ①通过观察，矩阵的列向量相关（列一+列二=2倍列三），则矩阵不可逆，必有特征值${\lambda }_1=0$
  ②马尔可夫矩阵必然有特征值${\lambda }_2=1$
  ③根据迹=对角元之和=特征值之和，最后一个特征值${\lambda }_3=-0.2$
• 求差分方程${\mathbf{u}}_k={\mathbf{A}}^k{\mathbf{u}}_0，{\mathbf{u}}_0=\left[\begin{array}{c}0\\ 10\\ 0\end{array}\right]$的稳态（即$k\to \infty$时的${\mathbf{u}}_k$）
  首先分析稳态中有哪些项：先将${\mathbf{u}}_0$表示为特征向量的线性组合${\mathbf{u}}_0=c_1{\mathbf{x}}_1+c_2{\mathbf{x}}_2+c_3{\mathbf{x}}_3$，那么${\mathbf{u}}_k=c_1{\lambda }_1^k{\mathbf{x}}_1+c_2{\lambda }_2^k{\mathbf{x}}_2+c_3{\lambda }_3^k{\mathbf{x}}_3$，由于${\lambda }_1=0,{\lambda }_2=1,{\lambda }_3=-0.2$，最终的稳态只会剩下第二项，因此关注${\lambda }_2=1$对应的特征向量即可；
  求得特征向量$\mathbf{x}2=\left[\begin{array}{l}3\\ 3\\ 4\end{array}\right]$，故稳态$\mathbf{u}\mathbf{k}=\left[\begin{array}{l}3\\ 3\\ 4\end{array}\right]$
  ps. 由于是Markov矩阵，问题可视为人口迁移问题，一开始有10个人，最终总共还是10个人，但分布不同

Eg4 最小二乘法

对于方程$\mathbf{A}\mathbf{x}=\mathbf{b}$即$\left[\begin{array}{ll}1& 0\\ 1& 1\\ 1& 2\end{array}\right]\left[\begin{array}{l}\hat{C}\\ \hat{D}\end{array}\right]=\left[\begin{array}{l}3\\ 4\\ 1\end{array}\right]$，
已知通过最小二乘法得出的“最优解”为$\left[\begin{array}{c}\hat{C}\\ \hat{D}\end{array}\right]=\left[\begin{array}{c}11/3\\ -1\end{array}\right]$

• 求向量$\mathbf{b}=\left[\begin{array}{l}3\\ 4\\ 1\end{array}\right]$在$\mathbf{A}$列空间上的投影$\mathbf{p}$
  根据最小二乘法的几何意义，其就是将$\mathbf{b}$向$\mathbf{A}$列空间投影，然后对投影$\mathbf{p}$求解“最优解”；
  因此，带入$\left[\begin{array}{c}\hat{C}\\ \hat{D}\end{array}\right]=\left[\begin{array}{c}11/3\\ -1\end{array}\right]$得到投影$\mathbf{p}=\left[\begin{array}{ll}1& 0\\ 1& 1\\ 1& 2\end{array}\right]\left[\begin{array}{l}\hat{C}\\ \hat{D}\end{array}\right]=\left[\begin{array}{c}11/3\\ 8/3\\ 5/3\end{array}\right]$

• 将问题视为对三个数据点的直线拟合，画出对应的图像
  希望直线$y=kx+b$同时过三个点，方程写为：
  $$\left[\begin{array}{cc}1& 0\\ 1& 1\\ 1& 2\end{array}\right]\left[\begin{array}{c}b\\ k\end{array}\right]=\left[\begin{array}{c}3\\ 4\\ 1\end{array}\right]$$
  对应的三个点为$(0,3),(1,4),(2,1)$，而最“最优解”$\left[\begin{array}{c}11/3\\ -1\end{array}\right]$给出终拟合得到的直线$y=-x+11/3$
  

• 另求一个非零向量$\mathbf{b}$，使得$\mathbf{A}\mathbf{x}=\mathbf{b}$最小二乘法的“最优解”为$0$，即$\left[\begin{array}{l}\hat{C}\\ \hat{D}\end{array}\right]=\left[\begin{array}{l}0\\ 0\end{array}\right]$
  根据最小二乘法的几何意义，先将$\mathbf{b}$向$\mathbf{A}$列空间投影得到$\mathbf{p}$，那么“最优解”就是$\mathbf{A}\hat{\mathbf{x}}=\mathbf{p}$的解
  仅当$\mathbf{b}$垂直/正交于$\mathbf{A}$列空间时，投影为$\mathbf{p}=0$，进而“最优解”为$0$，从而得到$\mathbf{b}=\left[\begin{array}{c}1\\ -2\\ 1\end{array}\right]$

Eg5 矩阵特性

求符合下列要求的2x2矩阵
①能将向量投影到$\mathbf{a}=\left[\begin{array}{c}4\\ -3\end{array}\right]$的投影矩阵
②具有特征值$0,3$和特征向量$\left[\begin{array}{l}1\\ 2\end{array}\right]，\left[\begin{array}{l}2\\ 1\end{array}\right]$的矩阵
③不能被分解为$\mathbf{A}={\mathbf{B}}^T\mathbf{B}$的矩阵
④特征向量正交的矩阵（除了对称阵）

• ①投影矩阵$\mathbf{P}=\mathbf{A}({\mathbf{A}}^T\mathbf{A}{)}^{-1}{\mathbf{A}}^T=\frac{{\mathbf{a}\mathbf{a}}^T}{{\mathbf{a}}^T\mathbf{a}}=\dots \dots$
• ②根据相似对角化，可得到矩阵$\mathbf{A}={\mathbf{S}}^{-1}\mathbf{\Lambda }\mathbf{S}=\left[\begin{array}{ll}1& 2\\ 2& 1\end{array}\right]\left[\begin{array}{ll}0& 0\\ 0& 3\end{array}\right]{\left[\begin{array}{ll}1& 2\\ 2& 1\end{array}\right]}^{-1}=\dots \dots$
• ③${\mathbf{B}}^T\mathbf{B}$至少为半正定矩阵，那么只要给出任意一个不对称的矩阵，即可满足“不能被分解为$\mathbf{A}={\mathbf{B}}^T\mathbf{B}$”
• ④特征向量正交，几何上对应“旋转”的线性变换
  例如正交矩阵$\mathbf{A}=\left[\begin{array}{ll}cos& -sin\\ sin& cos\end{array}\right]$(特征值为纯虚数，对应旋转，特征向量正交)
  又如反对称矩阵$\mathbf{A}=\left[\begin{array}{ll}0& 1\\ -1& 0\end{array}\right]$

Eg6 求矩阵的SVD分解

Eg 6.1

对于可逆矩阵$\mathbf{A}=\left[\begin{array}{cc}4& 4\\ -3& 3\end{array}\right]$求SVD分解（可逆矩阵$r=n$，则${\mathbf{A}}^T\mathbf{A}$和$\mathbf{A}{\mathbf{A}}^T$为正定矩阵，特征值全为正，$\mathbf{A}$对应的奇异值全为正）

首先求正交矩阵$\mathbf{V}$和正交矩阵$\mathbf{U}$

• 求正交矩阵$\mathbf{V}$
  计算${\mathbf{A}}^T\mathbf{A}=\left[\begin{array}{cc}25& 7\\ 7& 25\end{array}\right]$，特征值${\lambda }_1={\sigma }_1^2=32,{\lambda }_2={\sigma }_2^2=18$，特征向量$\mathbf{v}1=\left[\begin{array}{l}1/\sqrt{2}\\ 1/\sqrt{2}\end{array}\right],\mathbf{v}2=\left[\begin{array}{r}1/\sqrt{2}\\ -1/\sqrt{2}\end{array}\right]$（注意，由于U中需要标准正交基，需要将一般的特征向量$\left[\begin{array}{l}1\\ 1\end{array}\right],\left[\begin{array}{l}1\\ -1\end{array}\right]$标准化）
  最终，$\mathbf{V}=\left[\begin{array}{cc}1/\sqrt{2}& 1/\sqrt{2}\\ 1/\sqrt{2}& -1/\sqrt{2}\end{array}\right]$,$\mathbf{\Sigma }=\left[\begin{array}{cc}\sqrt{32}& 0\\ 0& \sqrt{18}\end{array}\right]$
• 求正交矩阵$\mathbf{U}$
  计算$\mathbf{A}{\mathbf{A}}^T=\left[\begin{array}{cc}32& 0\\ 0& 18\end{array}\right]$，特征值${\lambda }_1={\sigma }_1^2=32,{\lambda }_2={\sigma }_2^2=18$，特征向量$\left[\begin{array}{l}1\\ 0\end{array}\right],\left[\begin{array}{l}0\\ 1\end{array}\right]$
  $\mathbf{A}\mathbf{V}=\left[\begin{array}{cc}\sqrt{32}& 0\\ 0& -\sqrt{18}\end{array}\right]=\mathbf{U}\mathbf{\Sigma }$来帮助确定特征向量${\mathbf{u}}_i$所取的符号
  最后，$\mathbf{U}=\left[\begin{array}{cc}1& 0\\ 0& -1\end{array}\right]$（注意，不是$\left[\begin{array}{cc}1& 0\\ 0& 1\end{array}\right]$）

SVD分解结果：$$\mathbf{A}=\mathbf{U}\mathbf{\Sigma }{\mathbf{V}}^T，\left[\begin{array}{cc}4& 4\\ -3& 3\end{array}\right]=\left[\begin{array}{cc}1& 0\\ 0& -1\end{array}\right]\left[\begin{array}{cc}\sqrt{32}& 0\\ 0& \sqrt{18}\end{array}\right]\left[\begin{array}{cc}1/\sqrt{2}& 1/\sqrt{2}\\ 1/\sqrt{2}& -1/\sqrt{2}\end{array}\right]$$

Eg 6.2

对于奇异矩阵$\mathbf{A}=\left[\begin{array}{cc}4& 3\\ 8& 6\end{array}\right]$求SVD分解（奇异矩阵$r<n$，则${\mathbf{A}}^T\mathbf{A}$和$\mathbf{A}{\mathbf{A}}^T$为半正定矩阵）
与上面不同的是，这里$\mathbf{A}$为奇异矩阵，秩为1，导致了$\mathbf{A}$的行空间并不能张成整个${\mathbf{R}}^2$空间，因此这里的SVD即$\mathbf{A}\mathbf{V}=\mathbf{U}\mathbf{\Sigma }$的$\mathbf{V}$中，还多了“零空间”的部分（如上面所述，这部分对应$\mathbf{\Sigma }$中的零元素）

由于是秩1矩阵，情况比较简单，我们不再用上面的通用方法求正交矩阵$\mathbf{V}$和正交矩阵$\mathbf{U}$，这里直接从矩阵的行空间和列空间来求解，同时有助于加深理解：

• 这里行空间为一条直线，零空间则与之正交（垂直）；列空间与左零空间同理
• 根据前面所讲，我们要在整个${\mathbf{R}}^2$空间（行空间+零空间）中找一组标准正交基，其被$\mathbf{A}$线性变换后，得到${\mathbf{R}}^2$空间中的另一组标准正交基（对应到列空间+左零空间）
• 如图，很容易得到行空间+零空间的标准正交基为$\mathbf{v}1=\left[\begin{array}{l}4/5\\ 3/5\end{array}\right],\mathbf{v}2=\left[\begin{array}{r}3/5\\ -4/5\end{array}\right]$
  列空间+左零空间的标准正交基为$\mathbf{u}1=\frac{1}{\sqrt{5}}\left[\begin{array}{l}1\\ 2\end{array}\right],\mathbf{u}2=\frac{1}{\sqrt{5}}\left[\begin{array}{r}2\\ -1\end{array}\right]$
• 由于有零空间，必有$\mathbf{A}{\mathbf{v}}_2={\sigma }_2{\mathbf{u}}_2$中${\sigma }_2=0$，则$\mathbf{\Sigma }=\left[\begin{array}{cc}{\sigma }_1& 0\\ 0& 0\end{array}\right]$
  通过$\mathbf{A}\mathbf{V}=\mathbf{U}\mathbf{\Sigma }$，一方面确定${\sigma }_1$的值，另一方面确保向量${\mathbf{v}}_i$和${\mathbf{u}}_i$符号匹配
  得到${\sigma }_1=\sqrt{125}$，$\mathbf{V}=\frac{1}{5}\left[\begin{array}{cc}4& 3\\ 3& -4\end{array}\right]$，$\mathbf{U}=\frac{1}{\sqrt{5}}\left[\begin{array}{cc}1& 2\\ 2& -1\end{array}\right]$

最终，SVD分解结果：$$\mathbf{A}=\mathbf{U}\mathbf{\Sigma }{\mathbf{V}}^T，\left[\begin{array}{cc}4& 3\\ 8& 6\end{array}\right]=\frac{1}{\sqrt{5}}\left[\begin{array}{cc}1& 2\\ 2& -1\end{array}\right]\left[\begin{array}{cc}\sqrt{125}& 0\\ 0& 0\end{array}\right]\frac{1}{5}\left[\begin{array}{cc}4& 3\\ 3& -4\end{array}\right]$$

再次可见，$\mathbf{A}$的零空间向量（即$\mathbf{V}$中的$\mathbf{v}2=\left[\begin{array}{r}3/5\\ -4/5\end{array}\right]$），经过$\mathbf{A}\mathbf{V}=\mathbf{U}\mathbf{\Sigma }$后，对应于$\mathbf{A}$的左零空间向量（即$\mathbf{U}$中的$\mathbf{u}2=\frac{1}{\sqrt{5}}\left[\begin{array}{r}2\\ -1\end{array}\right]$），也对应于$\mathbf{\Sigma }$中的${\sigma }_2=0$