线性代数学习笔记4-1：线性方程组的数学和几何意义、零空间/解空间/核

从线性代数的视角看线性方程组

求解方程$$\mathbf{A}\vec{x}=\vec{v}$$首先说明系数矩阵的行数和列数的意义：

• 对于系数矩阵$\mathbf{A}$，其行数代表方程个数，列数代表未知量个数
• 对于系数矩阵$\mathbf{A}$，矩阵对应线性变换
  矩阵行数代表变换后的基向量、$\vec{x}$和$\vec{v}$等向量的坐标分量数，也就是这些向量所处空间的维度；
  （上面说过，若有$row$行，则列空间必为${\mathbf{R}}^{row}$的子空间，因为$row$个分量最多只能描述$row$维空间中的向量）
• 列数代表列向量/变换后的基向量个数（然而这些基向量可能是线性相关的）

下面进一步展开说明，并从线性代数的视角看线性方程组

线性方程组的几何意义

$\mathbf{A}\vec{x}=\vec{v}$的几何意义是，已知一个线性变换$\mathbf{A}$，我们要寻找一个向量$\vec{x}$，使之在变换后与向量$\vec{v}$重合；
或者说，在$\mathbf{A}$的列空间（线性变换后的新的向量空间）中，寻找合适的”坐标“，对应于向量$\vec{v}$

方程有解的条件：
总体原则是，如果位于矩阵$\mathbf{A}$的列空间内，那么方程就有解；否则无解；

• 线性变换不压缩空间时，即矩阵满秩，即$det(\mathbf{A})\ne 0$，方程组存在唯一解（因为线性变换在同一维度下进行，变换前后的向量一一对应，确定变换后的向量$\vec{v}$，也就确定变换前的向量$\vec{x}$）

具体如何求解：
$det(\mathbf{A})\ne 0$时逆矩阵${\mathbf{A}}^{-1}$存在
方程两边同乘${\mathbf{A}}^{-1}$即可求解方程：$\vec{x}={\mathbf{A}}^{-1}\vec{v}$
其几何意义是，从$\vec{v}$开始“”倒带“，进行逆变换并跟踪$\vec{v}$的动向，最终可以得到初始的$\vec{x}$

• 线性变换会压缩空间时（如：平面变为线），即矩阵不满秩，即$det(\mathbf{A})=0$，方程不一定有解；
  如果向量$\vec{v}$恰好处于被压缩后的空间（列空间）内，解存在；否则无解
  

之前通过逆矩阵${\mathbf{A}}^{-1}$求解方程；
而在这种情况下，不存在逆矩阵${\mathbf{A}}^{-1}$
其几何意义是，不存在逆变换能将一条线”解压缩“为一个平面（这样必将出现单个输入对应多个输出，这不符合函数映射的定义）

线性方程组的数学意义

另一种思路是，从方程组入手看问题：

$\mathbf{A}\vec{x}=\vec{v}$相当于用向量$\vec{x}$提供的系数对矩阵$\mathbf{A}$的列向量做线性组合

方程有解的条件：

• 一旦列向量的线性组合能够充满整个${\mathbf{R}}^{row}$空间，一定有解（其中$row$就是系数矩阵的行数，它表示了上面讨论的所有向量的坐标分量数，也就是向量$\vec{x}$和$\vec{v}$所存在的空间的维度）
• 而一旦列向量的线性组合不能够充满整个${\mathbf{R}}^{row}$空间，不一定有解，具体取决于列向量的线性组合（列空间）是否能得到我们所需的那个向量$\vec{v}$

总之：对于$\mathbf{A}\vec{x}=\vec{v}$，当向量$\vec{v}$位于矩阵$\mathbf{A}$的列空间内，方程有解；否则方程无解。

矩阵的零空间/解空间/核

对于方程$\mathbf{A}\vec{x}=\vec{v}$，列空间关注系数矩阵$\mathbf{A}$，而零空间关注解向量$\vec{x}$

矩阵的零空间(Null Space)/核(Kernal)：

1. 经过线性变换后，将会落在原点/零向量的向量的集合
2. 方程$\mathbf{A}\vec{x}=\vec{0}$的所有解向量$\vec{x}$构成的集合
3. 零空间也叫解空间，即齐次线性方程组所有解向量构成的集合

ps. 与之前同理，如果向量$\vec{x}$有$n$个分量，那么零空间一定是${\mathbf{R}}^n$的子空间

零空间和线性无关性、秩结合在一起考虑：
矩阵的零空间只有0点（方程$\mathbf{A}\mathbf{x}=0$有唯一零解，没有非零解）$⟺$矩阵列满秩（线性变换没有压缩空间）$⟺$所有列向量线性无关
后面将会看到，方程消元后，给出了列相关性/秩/零空间（基础解系）等所有信息

零空间几何意义：考虑3x3矩阵，线性变换后空间维度被压缩的情况

• 矩阵满秩，不管变换如何，原点仍落在原点（线性变换保证原点位置不变），零空间为一个点
  （零空间也是线性空间，零空间必然包含零向量$\vec{0}$）
• 矩阵秩为2，则有一条线上的向量将被压缩到零向量位置，与之重叠，则零空间为一条线
• 矩阵秩为1，则有一个平面上的向量将被压缩到零向量位置，与之重叠，则零空间为一个平面

另外，从零空间的思路出发，对于$\vec{v}$不是零向量的一般情况，我们也更能理解为什么有时方程的解不唯一：空间被压缩时，大量的高维度的向量被压缩到低维度空间中的同一个向量$\vec{v}$的位置，它们有可能是一条线/一个平面…

当然，和零空间不同，此时所有的解向量$\vec{x}$的集合就一定不是一个向量空间，原因很简单：这些解中一定不包含零向量$\vec{0}$，也就是说，此时的解的集合是不经过原点的直线/平面
这也是为什么解空间（这个向量空间）仅仅是指齐次线性方程组所有解向量构成的集合，而非齐次线性方程组的解的集合，不能称为”“

总结

• 每个齐次线性方程组都对应一个线性变换$\mathbf{A}\vec{x}=\vec{v}$
• $det(\mathbf{A})\ne 0$时，这个变换不会压缩空间，则解为$\vec{x}={\mathbf{A}}^{-1}\vec{v}$
• $det(\mathbf{A})=0$时，这个变换会压缩空间，不一定有解；
  具体的，仅当$\vec{v}$位于矩阵$\mathbf{A}$的列空间内（$\vec{v}$是在同维度/同二维平面or一维直线内的可能的输出），解存在
• 当$\vec{v}$是零向量，零空间给出方程所有可能的解
  从零空间的思路出发，我们也更能理解为什么有时方程的解不唯一