线性代数的本质(二)——线性变换与矩阵

线性变换与矩阵

线性变换与二阶方阵

本节从二维平面出发学习线性代数。通常选用平面坐标系 $Oxy$ ，基向量为 $\mathbf{i},\mathbf{j}$，平面内的任意向量都可以写成基向量的线性组合
$$\mathbf{v}=x\mathbf{i}+y\mathbf{j}$$
这样，平面内的点和有序实数对 $(x,y)$ 一一对应。借助平面坐标系，我们可以从代数的角度来研究几何变换。

变换与函数类似，函数把数映射到数，变换把点(向量)映射到点(向量)。
$$T:\mathbf{v}\mapsto T(\mathbf{v})$$

例如，(1) 平面内任意一点 $P(x,y)$ 绕原点$O$ 逆时针方向旋转 $60°$ 角得到点 $P^{\prime }(x^{\prime },y^{\prime })$，坐标变换公式为
{ x ′ = 1 2 x − 3 2 y y ′ = 3 2 x + 1 2 y

{x′=21​x−23 ​​yy′=23 ​​x+21​y​
可写为向量形式
[ x ′ y ′ ] = x [ 1 2 3 2 ] + y [ − 3 2 1 2 ]

[x′y′]" role="presentation">[x′y′]$$\left[\begin{array}{c}{x}^{\prime }\\ y^{\prime }\end{array}\right]$$

= x

[1232]" role="presentation">[123√2]$$\left[\begin{array}{c}\frac{1}{2}\\ \frac{\sqrt{3}}{2}\end{array}\right]$$

+ y

[−3212]" role="presentation">[−3√212]$$\left[\begin{array}{c}-\frac{\sqrt{3}}{2}\\ \frac{1}{2}\end{array}\right]$$

[x′y′​]=x[21​23 ​​​]+y[−23 ​​21​​]

(2) 平面内任意一点 $P(x,y)$ 关于 $y$ 轴的对称点 $P^{\prime }(x^{\prime },y^{\prime })$的表达式为
{ x ′ = − x y ′ = y

{x′=−xy′=y​
可写为向量形式
[ x ′ y ′ ] = x [ − 1 0 ] + y [ 0 1 ]

[x′y′]" role="presentation">[x′y′]$$\left[\begin{array}{c}{x}^{\prime }\\ y^{\prime }\end{array}\right]$$

= x

[−10]" role="presentation">[−10]$$\left[\begin{array}{c}-1\\ 0\end{array}\right]$$

+ y

[01]" role="presentation">[01]$$\left[\begin{array}{c}0\\ 1\end{array}\right]$$

[x′y′​]=x[−10​]+y[01​]

事实上，在平面坐标系 $Oxy$ 中，很多几何变换都具有如下坐标变换公式
{ x ′ = a x + b y y ′ = c x + d y

{x′=ax+byy′=cx+dy​
向量形式为
[ x ′ y ′ ] = x [ a c ] + y [ b d ]

[x′y′]" role="presentation">[x′y′]$$\left[\begin{array}{c}{x}^{\prime }\\ y^{\prime }\end{array}\right]$$

= x

[ac]" role="presentation">[ac]$$\left[\begin{array}{c}a\\ c\end{array}\right]$$

+ y

[bd]" role="presentation">[bd]$$\left[\begin{array}{c}b\\ d\end{array}\right]$$

[x′y′​]=x[ac​]+y[bd​]
其中 $(x^{\prime },y^{\prime })$为平面内任意一点 $(x,y)$ 变换后的点。我们把形如上式的几何变换叫做平面线性变换。

容易证明，线性变换满足下列两条性质

(1) 可加性：$T(\mathbf{v}+\mathbf{w})=T(\mathbf{v})+T(\mathbf{w})$
(2) 伸缩性：$T(c\mathbf{v})=cL(\mathbf{v})$

事实上，这两条性质才是线性变换的严格定义。

为了进一步了解线性变换的本质，取任意向量 $\mathbf{v}=x\mathbf{i}+y\mathbf{j}$ ，在线性变换 $T$ 的作用下
$$T(\mathbf{v})=T(x\mathbf{i}+y\mathbf{j})=xT(\mathbf{i})+yT(\mathbf{j})$$
可知，变换后的向量 $T(\mathbf{v})$ 由变换后的基向量以同样的系数完全确定。设变换后的基向量分别为
T ( i ) = a i + c j = [ a c ] , T ( j ) = b i + d j = [ b d ] T(\mathbf i)=a\mathbf i+c\mathbf j=

,\quad T(\mathbf j)=b\mathbf i+d\mathbf j= T(i)=ai+cj=[ac​],T(j)=bi+dj=[bd​]

注意：本章线性变换中的坐标始终使用最初的 $Oxy$ 坐标系。

于是，线性变换 $T:\mathbf{v}\mapsto T(\mathbf{v})$ 对应的坐标运算为
[ x ′ y ′ ] = x [ a c ] + y [ b d ]

= x+ y [x′y′​]=x[ac​]+y[bd​]
由于上述变换由变换后的基向量唯一确定，我们可以按顺序写为数表的形式

我们把这个数表称为二阶矩阵，一般用大写英文字母表示。变换后的向量则定义为矩阵与向量的乘积
[ a b c d ] [ x y ] = x [ a c ] + y [ b d ] = [ a x + b y c x + d y ]

= x+ y= [ac​bd​][xy​]=x[ac​]+y[bd​]=[ax+bycx+dy​]
可知，矩阵代表一个特定的线性变换，我们完全可以把矩阵的列看作变换后的基向量，矩阵向量乘法就是将线性变换作用于给定向量。

Grant：矩阵最初的定义就来自线性变换。

至此，任何一个线性变换都可以写为矩阵与向量乘积的形式。反之，确定了坐标系后，任何一个矩阵都唯一确定了一个线性变换。矩阵和向量的乘积与线性变换实现了一一对应。

一般地，直线在线性变换后仍然保持直线。

证明：如图 $l$ 为向量 ${\mathbf{w}}_1,{\mathbf{w}}_2$ 终点所确定的直线，$\mathbf{v}$ 为终点在直线 $l$ 上的任意向量。
$$\mathbf{v}={\mathbf{w}}_1+\lambda ({\mathbf{w}}_2-{\mathbf{w}}_1)=(1-\lambda ){\mathbf{w}}_1+\lambda {\mathbf{w}}_2(\lambda \in \mathbb{R})$$
令 ${\lambda }_1+{\lambda }_2=1$ 则
$$\mathbf{v}={\lambda }_1{\mathbf{w}}_1+{\lambda }_2{\mathbf{w}}_2$$
这就是由向量 ${\mathbf{w}}_1,{\mathbf{w}}_2$ 的终点所确定的直线的向量形式。由线性变换的基本性质可知，直线 $l$ 在线性变换 $A$ 的作用下变成
$${\mathbf{v}}^{\prime }=A({\lambda }_1{\mathbf{w}}_1+{\lambda }_2{\mathbf{w}}_2)={\lambda }_{1}A{\mathbf{w}}_1+{\lambda }_{2}A{\mathbf{w}}_2$$
(1) 如果 $A{\mathbf{w}}_1\ne A{\mathbf{w}}_2$，那么 ${\mathbf{v}}^{\prime }$ 表示由向量 $A{\mathbf{w}}_1,A{\mathbf{w}}_2$ 的终点确定的直线。此时矩阵 $A$ 对应的线性变换把直线变成直线；
(2) 如果 $A{\mathbf{w}}_1=A{\mathbf{w}}_2$，那么 ${\lambda }_{1}A{\mathbf{w}}_1+{\lambda }_{2}A{\mathbf{w}}_2=A{\mathbf{w}}_1$ 。由于向量 $A{\mathbf{w}}_1$ 的终点是一个确定的点，因而，矩阵 $A$ 所对应的线性变换把直线 $l$ 映射成了一个点 $A{\mathbf{w}}_1$ 。

常见的线性变换

Grant：我们可以使用无限网格刻画二维空间所有点的变换。线性变换是操作空间的一种手段，它能够保持网格线平行且等距，并保持原点不动。

我们已经知道，在线性变换的作用下，直线仍然保持直线(或一个点)。为了方便，我们只考虑在平面直角坐标系内，单位正方形区域的线性变换。

根据向量加法的平行四边形法则，单位正方形区域可用向量形式表示为
[ x y ] = x i + y j ( 0 ⩽ x , y ⩽ 1 )

=x\mathbf i+y\mathbf j \quad(0\leqslant x,y\leqslant 1) [xy​]=xi+yj(0⩽x,y⩽1)
由线性变换基本性质知，变换后的区域为
A [ x y ] = x ( A i ) + y ( A j ) ( 0 ⩽ x , y ⩽ 1 ) A

[xy]" role="presentation">[xy]$$\left[\begin{array}{c}x\\ y\end{array}\right]$$

=x(A\mathbf i)+y(A\mathbf j) \quad(0\leqslant x,y\leqslant 1) A[xy​]=x(Ai)+y(Aj)(0⩽x,y⩽1)

表示以 $A\mathbf{i},A\mathbf{j}$ 为邻边的平行四边形区域。因此，我们只需考虑单位向量 $\mathbf{i},\mathbf{j}$ 在线性变换作用下的结果，就能得到单位正方形区域在线性变换作用下所变成的图形。

恒等变换：把平面内任意一点 $P(x,y)$ 变成它本身，记为 $I$ 。对应的矩阵称为单位阵
[ 1 0 0 1 ]

[10​01​]

旋转变换：(rotations)平面内任意一点 $P(x,y)$ 绕原点$O$按逆时针方向旋转 $\theta$ 角，记为 $R_{\theta }$ 。对应的矩阵为
[ cos ⁡ θ − sin ⁡ θ sin ⁡ θ cos ⁡ θ ]

[cosθsinθ​−sinθcosθ​]

切变变换：(shears)平行于 $x$ 轴的切变变换对应的矩阵为
[ 1 k 0 1 ]

[10​k1​]
类似的，平行于 $y$ 轴的切变变换对应的矩阵为
[ 1 0 k 1 ]

[10k1]" role="presentation">[1k01]$$\left[\begin{array}{cc}1& 0\\ k& 1\end{array}\right]$$

[1k​01​]

反射变换：(reflection)一般的我们把平面内任意一点 $P(x,y)$ 关于直线 $l$ 对称的线性变换叫做关于直线 $l$ 的反射变换。

(1) 关于 $y$ 轴的反射变换对应的矩阵为
[ − 1 0 0 1 ]

[−10​01​]
(2) 关于直线 $y=x$ 的反射变换对应的矩阵为
[ 0 1 1 0 ]

[0110]" role="presentation">[0110]$$\left[\begin{array}{cc}0& 1\\ 1& 0\end{array}\right]$$

[01​10​]
(3) 关于直线 $y=kx$ 的反射变换对应的矩阵为
1 k 2 + 1 [ 1 − k 2 2 k 2 k k 2 − 1 ] \frac{1}{k^2+1}

[1−k22k2kk2−1]" role="presentation">[1−k22k2kk2−1]$$\left[\begin{array}{cc}1-k^2& 2k\\ 2k& k^2-1\end{array}\right]$$

k2+11​[1−k22k​2kk2−1​]

伸缩变换：(stretching)将每个点的横坐标变为原来的 $k_1$ 倍，纵坐标变为原来的 $k_2$ 倍，其中 $k_1,k_2\ne 0$ 。对应的矩阵为
[ k 1 0 0 k 2 ]

[k1​0​0k2​​]

投影变换：(projection)平面内任意一点 $P(x,y)$ 在直线 $l$ 的投影称为关于直线 $l$ 的投影变换。

(1) 关于 $x$ 轴的投影变换对应的矩阵为
[ 1 0 0 0 ]

[10​00​]
(2) 关于 $y$ 轴的投影变换对应的矩阵为
[ 0 0 0 1 ]

[0001]" role="presentation">[0001]$$\left[\begin{array}{cc}0& 0\\ 0& 1\end{array}\right]$$

[00​01​]
(3) 关于直线 $y=kx$ 的投影变换对应的矩阵为
1 k 2 + 1 [ 1 k k k 2 ] \frac{1}{\sqrt{k^2+1}}

[1kkk2]" role="presentation">[1kkk2]$$\left[\begin{array}{cc}1& k\\ k& k^2\end{array}\right]$$

k2+1 ​1​[1k​kk2​]

平移变换：形如 $(x,y)\mapsto (x+h,y+k)$ 的平移变换并不是线性变换，我们无法直接使用矩阵向量乘法。对此可以引入齐次坐标：平面内的每个点 $(x,y)$ 都可以对应于空间中的点 $(x,y,1)$ 。平移变换可以用齐次坐标写成变换 $T:(x,y,1)\mapsto (x+h,y+k,1)$，对应的矩阵为
[ 1 0 h 0 1 k 0 0 1 ]

​100​010​hk1​ ​

复合变换与矩阵乘法

平面内任意一向量，依次做旋转变换 R θ 1 : [ cos ⁡ θ 1 − sin ⁡ θ 1 sin ⁡ θ 1 cos ⁡ θ 1 ] R_{\theta_1}:

Rθ1​​:[cosθ1​sinθ1​​−sinθ1​cosθ1​​] 和 R θ 2 : [ cos ⁡ θ 2 − sin ⁡ θ 2 sin ⁡ θ 2 cos ⁡ θ 2 ] R_{\theta_2}:

[cos⁡θ2−sin⁡θ2sin⁡θ2cos⁡θ2]" role="presentation">[cosθ2sinθ2−sinθ2cosθ2]$$\left[\begin{array}{cc}\cos {\theta }_2& -\sin {\theta }_2\\ \sin {\theta }_2& \cos {\theta }_2\end{array}\right]$$

Rθ2​​:[cosθ2​sinθ2​​−sinθ2​cosθ2​​]

很显然最终作用的效果可以用一个变换 $R_{{\theta }_1+{\theta }_2}$ 来表示，对应的矩阵为
[ cos ⁡ ( θ 1 + θ 2 ) − sin ⁡ ( θ 1 + θ 2 ) sin ⁡ ( θ 1 + θ 2 ) cos ⁡ ( θ 1 + θ 2 ) ]

[cos(θ1​+θ2​)sin(θ1​+θ2​)​−sin(θ1​+θ2​)cos(θ1​+θ2​)​]
旋转变换 $R_{{\theta }_1+{\theta }_2}$仍然是线性变换。

一般地，设矩阵 A = [ a 1 b 1 c 1 d 1 ] , B = [ a 2 b 2 c 2 d 2 ] A=

,B= A=[a1​c1​​b1​d1​​],B=[a2​c2​​b2​d2​​]，他们对应的线性变换分别为 $f$ 和 $g$ 。

平面上任意一个向量 v = [ x y ] \mathbf v=

v=[xy​] 依次做变换 $g$ 和 $f$ ，其作用效果为
$$f(g(\mathbf{v}))=A(B\mathbf{v})$$

Grant：线性变换的本质主要在于追踪基向量变换后的位置。

接下来，我们追踪变换过程中基向量的位置。由矩阵向量乘法的定义知道，基向量 $\mathbf{i},\mathbf{j}$ 经过矩阵 $B$ 变换后(第一次变换)的位置为
B i = [ a 2 c 2 ] , B j = [ b 2 d 2 ] B\mathbf i=

,\quad B\mathbf j= Bi=[a2​c2​​],Bj=[b2​d2​​]
基向量 $B\mathbf{i},B\mathbf{j}$ 又经过矩阵 $A$ 变换后的最终位置为
i ′ : [ a 1 b 1 c 1 d 1 ] [ a 2 c 2 ] = a 2 [ a 1 c 1 ] + c 2 [ b 1 d 1 ] = [ a 1 a 2 + b 1 c 2 c 1 a 2 + d 1 c 2 ] j ′ : [ a 1 b 1 c 1 d 1 ] [ b 2 d 2 ] = b 2 [ a 1 c 1 ] + d 2 [ b 1 d 1 ] = [ a 1 b 2 + b 1 d 2 c 1 b 2 + d 1 d 2 ] \mathbf i':

[a1b1c1d1]" role="presentation">[a1c1b1d1]$$\left[\begin{array}{cc}{a}_1& b_1\\ c_1& d_1\end{array}\right]$$

[a2c2]" role="presentation">[a2c2]$$\left[\begin{array}{c}{a}_2\\ c_2\end{array}\right]$$

= a_2

[a1c1]" role="presentation">[a1c1]$$\left[\begin{array}{c}{a}_1\\ c_1\end{array}\right]$$

+ c_2

[b1d1]" role="presentation">[b1d1]$$\left[\begin{array}{c}{b}_1\\ d_1\end{array}\right]$$

=

[a1a2+b1c2c1a2+d1c2]" role="presentation">[a1a2+b1c2c1a2+d1c2]$$\left[\begin{array}{c}{a}_1{a}_2+b_1{c}_2\\ c_1{a}_2+d_1{c}_2\end{array}\right]$$

\\ \mathbf j':

[a1b1c1d1]" role="presentation">[a1c1b1d1]$$\left[\begin{array}{cc}{a}_1& b_1\\ c_1& d_1\end{array}\right]$$

[b2d2]" role="presentation">[b2d2]$$\left[\begin{array}{c}{b}_2\\ d_2\end{array}\right]$$

= b_2

[a1c1]" role="presentation">[a1c1]$$\left[\begin{array}{c}{a}_1\\ c_1\end{array}\right]$$

+ d_2

[b1d1]" role="presentation">[b1d1]$$\left[\begin{array}{c}{b}_1\\ d_1\end{array}\right]$$

=

[a1b2+b1d2c1b2+d1d2]" role="presentation">[a1b2+b1d2c1b2+d1d2]$$\left[\begin{array}{c}{a}_1{b}_2+b_1{d}_2\\ c_1{b}_2+d_1{d}_2\end{array}\right]$$

i′:[a1​c1​​b1​d1​​][a2​c2​​]=a2​[a1​c1​​]+c2​[b1​d1​​]=[a1​a2​+b1​c2​c1​a2​+d1​c2​​]j′:[a1​c1​​b1​d1​​][b2​d2​​]=b2​[a1​c1​​]+d2​[b1​d1​​]=[a1​b2​+b1​d2​c1​b2​+d1​d2​​]
从而，对任意向量 v = [ x y ] \mathbf v=

[xy]" role="presentation">[xy]$$\left[\begin{array}{c}x\\ y\end{array}\right]$$

v=[xy​] 依次做变换 $B$ 和 $A$ ，其总体作用效果为
A ( B v ) = x i ′ + y j ′ = [ a 1 a 2 + b 1 c 2 a 1 b 2 + b 1 d 2 c 1 a 2 + d 1 c 2 c 1 b 2 + d 1 d 2 ] [ x y ] A(B\mathbf v)=x\mathbf i'+y\mathbf j'=

[a1a2+b1c2a1b2+b1d2c1a2+d1c2c1b2+d1d2]" role="presentation">[a1a2+b1c2c1a2+d1c2a1b2+b1d2c1b2+d1d2]$$\left[\begin{array}{cc}{a}_1{a}_2+b_1{c}_2& a_1{b}_2+b_1{d}_2\\ c_1{a}_2+d_1{c}_2& c_1{b}_2+d_1{d}_2\end{array}\right]$$

[xy]" role="presentation">[xy]$$\left[\begin{array}{c}x\\ y\end{array}\right]$$

A(Bv)=xi′+yj′=[a1​a2​+b1​c2​c1​a2​+d1​c2​​a1​b2​+b1​d2​c1​b2​+d1​d2​​][xy​]
这也是一个线性变换，我们称为复合变换(composite transformation)，记为 $f\circ g$ 。

在此，我们定义复合变换 $f\circ g$ 为矩阵$A,B$ 的乘积，记为
A B = [ a 1 b 1 c 1 d 1 ] [ a 2 b 2 c 2 d 2 ] = [ a 1 a 2 + b 1 c 2 a 1 b 2 + b 1 d 2 c 1 a 2 + d 1 c 2 c 1 b 2 + d 1 d 2 ] AB=

= AB=[a1​c1​​b1​d1​​][a2​c2​​b2​d2​​]=[a1​a2​+b1​c2​c1​a2​+d1​c2​​a1​b2​+b1​d2​c1​b2​+d1​d2​​]

注意：矩阵乘积的次序与复合变换相同，从右向左相继作用。

由定义易知，对任意向量 $\mathbf{v}$ 有
$$(AB)\mathbf{v}=A(B\mathbf{v})$$

矩阵的定义

接下来，我们将矩阵的概念推广到高维空间。高维线性空间中的变换与二维空间中的变换类似。

矩阵: $m\times n$ 个数按一定次序排成的数表称为矩阵
[ a 11 a 12 ⋯ a 1 n a 21 a 22 ⋯ a 2 n ⋮ ⋮ ⋱ ⋮ a m 1 a m 2 ⋯ a m n ]

​a11​a21​⋮am1​​a12​a22​⋮am2​​⋯⋯⋱⋯​a1n​a2n​⋮amn​​ ​
常用大写英文字母表示矩阵，如$A$或$A_{m\times n}$。矩阵中的每个数 $a_{ij}$ 称为它的元素(entry)，有时矩阵也记作 $(a_{ij})$ 或 $(a_{ij}{)}_{m\times n}$ 。根据矩阵的元素所属的数域，可以将矩阵分为复矩阵和实矩阵。

几种特殊的矩阵：

1. 元素全为零的矩阵称为零矩阵(zero matrix)，记作$O$。
2. 只有一行的矩阵称为行矩阵(row matrix)或行向量；只有一列的矩阵称为列矩阵(column matrix)或列向量。行(列)矩阵通常用小写黑体字母表示，如 $\mathbf{a},\mathbf{x}$。
3. 当行数和列数相等时的矩阵 $A_{n\times n}$ 称为**$n$ 阶方阵**(n-order square matrix)。
4. 不在主对角线上的元素全为零的方阵称为对角阵(diagonal matrix)，记作 $\mathrm{diag}(a_1,a_2,\cdots ,a_n)$
5. 主对角线上的元素全为1的对角阵，称为单位阵(identity matrix)。记$n$ 阶单位阵记作$E_n$或$I_n$

矩阵的线性运算：因为矩阵 $A_{m\times n}$ 的各列是 $m$维向量，写作 A = [ a 1 a 2 ⋯ a n ] A=

A=[a1​​a2​​⋯​an​​] ，因此矩阵可看作向量集，向量的线性运算自然推广到矩阵。

设矩阵$A=(a_{ij})$ 与 $B=(b_{ij})$

1. 他们的对应元素完全相同 $a_{ij}=b_{ij}$，则称矩阵 $A$ 与 $B$ 相等，记作$A=B$；
2. 矩阵的加法定义为 $A+B=(a_{ij}+b_{ij})$
3. 矩阵的数乘定义为$kA=(k{a}_{ij})$

{% label 性质 orange %}：线性运算满足以下性质

1. 加法交换律：$A+B=B+A$
2. 加法结合律：$A+(B+C)=(A+B)+C$
3. 零矩阵：$O+A=A$
4. 负矩阵：$A+(-A)=O$
5. 数乘结合律：$k(lA)=(kl)A$
6. 数乘分配律：$k(A+B)=kA+kB$
7. 数乘分配律：$(k+l)A=kA+lA$
8. 数乘单位元：$1A=A$

矩阵向量的乘法： 矩阵与向量的乘法来源于线性变换，它有着直观的、深刻的几何背景。设$m\times n$ 维矩阵$A=(a_{ij})$ 与 $n$维向量 $\mathbf{v}=(x_1,x_2,\cdots ,x_n{)}^T$ 的乘积
[ a 11 a 12 ⋯ a 1 n a 21 a 22 ⋯ a 2 n ⋮ ⋮ ⋱ ⋮ a m 1 a m 2 ⋯ a m n ] [ x 1 x 2 ⋮ x n ] = x 1 [ a 11 a 21 ⋮ a m 1 ] + ⋯ + x n [ a 1 n a 2 n ⋮ a m n ] = [ ∑ j = 1 n a 1 j x j ∑ j = 1 n a 2 j x j ⋮ ∑ j = 1 n a m j x j ]

= x_1+\cdots+ x_n= ​a11​a21​⋮am1​​a12​a22​⋮am2​​⋯⋯⋱⋯​a1n​a2n​⋮amn​​ ​ ​x1​x2​⋮xn​​ ​=x1​ ​a11​a21​⋮am1​​ ​+⋯+xn​ ​a1n​a2n​⋮amn​​ ​= ​∑j=1n​a1j​xj​∑j=1n​a2j​xj​⋮∑j=1n​amj​xj​​ ​
一般地，$m\times n$ 维的矩阵，表示将 $n$ 维空间中的向量映射到 $m$ 维空间中。矩阵的第$j$列表示第 $j$ 个基向量变换后的坐标。

矩阵乘法：矩阵与矩阵乘法来源于复合线性变换。设矩阵$A=(a_{ij}{)}_{m\times n}$与$B=(b_{ij}{)}_{n\times p}$，向量 $\mathbf{v}=(x_1,x_2,\cdots ,x_p)$ ，用 ${\mathbf{b}}_1,{\mathbf{b}}_2,\cdots ,{\mathbf{b}}_p$表示矩阵 $B$ 的各列，则
$$B\mathbf{v}=x_1{\mathbf{b}}_1+x_2{\mathbf{b}}_2+\cdots +x_p{\mathbf{b}}_p$$
由线性变换的性质
A ( B v ) = A ( x 1 b 1 ) + A ( x 2 b 2 ) + ⋯ + A ( x p b p ) = x 1 A b 1 + x 2 A b 2 + ⋯ + x p A b p = [ A b 1 A b 2 ⋯ A b p ] v

A(Bv)​=A(x1​b1​)+A(x2​b2​)+⋯+A(xp​bp​)=x1​Ab1​+x2​Ab2​+⋯+xp​Abp​=[Ab1​​Ab2​​⋯​Abp​​]v​
于是可定义矩阵的乘积 $AB$ 为$m\times p$ 矩阵
A B = A [ b 1 b 2 ⋯ b p ] = [ A b 1 A b 2 ⋯ A b p ] AB=A

[b1b2⋯bp]" role="presentation">[b1b2⋯bp]$$\left[\begin{array}{cccc}{\mathbf{b}}_1& {\mathbf{b}}_2& \cdots & {\mathbf{b}}_p\end{array}\right]$$

=

[Ab1Ab2⋯Abp]" role="presentation">[Ab1Ab2⋯Abp]$$\left[\begin{array}{cccc}A{\mathbf{b}}_1& A{\mathbf{b}}_2& \cdots & A{\mathbf{b}}_p\end{array}\right]$$

AB=A[b1​​b2​​⋯​bp​​]=[Ab1​​Ab2​​⋯​Abp​​]
矩阵 $A$的列数必须和$B$ 的行数相等，乘积才有意义 。之前定义的矩阵向量乘法是矩阵乘法的特例。通常，更方便的方法是用元素定义矩阵乘法。设乘积 $AB=(c_{ij}{)}_{m\times p}$。则元素
$$c_{ij}=a_{i1}{b}_{1j}+a_{i2}{b}_{2j}+\cdots +a_{ip}{b}_{pj}$$
{% label 性质 orange %}：矩阵乘法满足以下性质

1. 矩阵乘法满足结合率：$A(BC)=(AB)C$
2. 矩阵乘法满足左分配律：$A(B+C)=AB+AC$
3. 矩阵乘法满足右分配律：$(B+C)A=BA+CA$
4. 矩阵乘法满足数乘分配律：$k(AB)=(kA)B=A(kB)$
5. 矩阵乘法单位元：$IA=AI=A$

证明：(1) 可从矩阵乘法的定义证明满足结合率。从线性变换角度来看，对于复合变换 $A(BC)$ 和 $(AB)C$ 是同样的变换，且依次作用的顺序并不会发生改变，变换的最终结果自然不变。
$$\mathbf{v}\stackrel{C}{\to }C\mathbf{v}\stackrel{B}{\to }BC\mathbf{v}\stackrel{A}{\to }ABC\mathbf{v}$$

注意：

1. 矩阵乘法不满足交换率，即一般情况下 $AB\ne BA$
2. 矩阵乘法不满足消去率，即若 $AB=AC$，不能推出 $B=C$ ；同样由 $AB=O$，不能推出 $A=O$ 或 $B=O$。

证明：(1) 一般地，复合变换 $f\circ g\ne g\circ f$ ，自然 $AB\ne BA$，矩阵乘法不满足交换率。
(2) 可举例证明矩阵乘法不满足消去率

设矩阵
A = [ 0 1 0 0 0 1 0 0 1 ] , B = [ 0 0 1 0 0 0 0 0 0 ] A=

,\quad B= A= ​000​100​011​ ​,B= ​000​000​100​ ​
则有
A B = [ 0 1 0 0 0 1 0 0 1 ] [ 0 0 1 0 0 0 0 0 0 ] = [ 0 0 0 0 0 0 0 0 0 ] = O B A = [ 0 0 1 0 0 0 0 0 0 ] [ 0 1 0 0 0 1 0 0 1 ] = [ 0 0 1 0 0 0 0 0 0 ] ≠ O AB=

[010001001]" role="presentation">⎡⎣⎢000100011⎤⎦⎥$$\left[\begin{array}{ccc}0& 1& 0\\ 0& 0& 1\\ 0& 0& 1\end{array}\right]$$

[001000000]" role="presentation">⎡⎣⎢000000100⎤⎦⎥$$\left[\begin{array}{ccc}0& 0& 1\\ 0& 0& 0\\ 0& 0& 0\end{array}\right]$$

=

[000000000]" role="presentation">⎡⎣⎢000000000⎤⎦⎥$$\left[\begin{array}{ccc}0& 0& 0\\ 0& 0& 0\\ 0& 0& 0\end{array}\right]$$

=O \\ BA=

[001000000]" role="presentation">⎡⎣⎢000000100⎤⎦⎥$$\left[\begin{array}{ccc}0& 0& 1\\ 0& 0& 0\\ 0& 0& 0\end{array}\right]$$

[010001001]" role="presentation">⎡⎣⎢000100011⎤⎦⎥$$\left[\begin{array}{ccc}0& 1& 0\\ 0& 0& 1\\ 0& 0& 1\end{array}\right]$$

=

[001000000]" role="presentation">⎡⎣⎢000000100⎤⎦⎥$$\left[\begin{array}{ccc}0& 0& 1\\ 0& 0& 0\\ 0& 0& 0\end{array}\right]$$

\neq O AB= ​000​100​011​ ​ ​000​000​100​ ​= ​000​000​000​ ​=OBA= ​000​000​100​ ​ ​000​100​011​ ​= ​000​000​100​ ​=O

列空间与基

定义：为方便使用，先介绍几个简单的定义

1. 线性变换是一种映射，称变换后的向量 $T(\mathbf{v})$ 为向量 $\mathbf{v}$ 在映射 $T$ 下的像，而称 $\mathbf{v}$ 为 $T(\mathbf{v})$ 在映射 $T$ 下的原像。
2. 线性变换 $T$ 的像集$T(V)$是一个线性空间，称为线性变换 $T$ 的值域，记作
   range ( T ) = { T ( v ) ∣ v ∈ V } \text{range}(T)=\{T(\mathbf v)\mid\mathbf v\in V\} range(T)={T(v)∣v∈V}
3. 在前面几节的分析中，我们始终将矩阵的列看成是向量。而这些列向量所张成的空间，称为列空间，若 $A=({\mathbf{a}}_1,{\mathbf{a}}_2,\cdots ,{\mathbf{a}}_n)$
   col  A = span { a 1 , a 2 , ⋯   , a n } \text{col }A=\text{span}\{\mathbf a_1,\mathbf a_2,\cdots,\mathbf a_n\} col A=span{a1​,a2​,⋯,an​}

我们已经知道，变换后的向量 $A\mathbf{v}$ 是变换后的基向量以同样的系数线性组合，而矩阵的列就是基向量变换之后的位置。因此，矩阵 $A$ 线性变换后的空间即是矩阵 $A$ 的列空间
col  A = range  A = { A v ∣ v ∈ V } \text{col }A=\text{range }A=\{A\mathbf v\mid\mathbf v\in V\} col A=range A={Av∣v∈V}
定理：矩阵 $A$ 的主元列构成 $\text{col }A$ 的一组基。

下面两个例子给出对列空间求基的简单算法。

例1：求 $\text{Col }B$ 的一组基，其中
B = ( b 1 , b 2 , ⋯   , b n ) = [ 1 4 0 2 0 0 0 1 − 1 0 0 0 0 0 1 0 0 0 0 0 ] B=(\mathbf b_1,\mathbf b_2,\cdots,\mathbf b_n)=

B=(b1​,b2​,⋯,bn​)= ​1000​4000​0100​2−100​0010​ ​
事实上，$B$ 的每个非主元列都是主元列的线性组合 ${\mathbf{b}}_2=4{\mathbf{b}}_1,{\mathbf{b}}_4=2{\mathbf{b}}_1-{\mathbf{b}}_3$ 且主元列时线性无关的，所以主元列构成列空间的一组基 col  B = span  { b 1 , b 3 , b 5 } \text{col }B=\text{span }\{\mathbf b_1,\mathbf b_3,\mathbf b_5\} col B=span {b1​,b3​,b5​} 。

当矩阵不是阶梯型矩阵时，回顾矩阵 $A=({\mathbf{a}}_1,{\mathbf{a}}_2,\cdots ,{\mathbf{a}}_n)$ 中列向量间的线性关系都可以用方程 $A\mathbf{x}=0$ 的形式刻画。当 $A$ 被行简化为阶梯型矩阵 $B=({\mathbf{b}}_1,{\mathbf{b}}_2,\cdots ,{\mathbf{b}}_n)$ 时，即存在可逆矩阵 $P$ 使 $B=PA$ 。若 $B$ 的列向量线性相关，即存在系数 $\mathbf{x}$ 使得 $B\mathbf{x}=0$ ，即
$$x_1{\mathbf{b}}_1+x_2{\mathbf{b}}_2+\cdots +x_n{\mathbf{b}}_n=0$$
同样的系数 $\mathbf{x}$ 也适用于矩阵 $A$ 的列向量，$A\mathbf{x}=P^{-1}B\mathbf{x}=0$，即
$$x_1{\mathbf{a}}_1+x_2{\mathbf{a}}_2+\cdots +x_n{\mathbf{a}}_n=0$$
综上，即矩阵$A$的列与阶梯型矩阵 $B$ 的列具有完全相同的线性相关关系。

例2：
A = ( a 1 , a 2 , ⋯   , a n ) = [ 1 4 0 2 − 1 3 12 1 5 5 2 8 1 3 2 5 20 2 8 8 ] A=(\mathbf a_1,\mathbf a_2,\cdots,\mathbf a_n)=

A=(a1​,a2​,⋯,an​)= ​1325​412820​0112​2538​−1528​ ​
已知矩阵 $A$ 行等价于上例中的矩阵$B$ ，求 $\text{Col }A$ 的一组基。

由于上例中 ${\mathbf{b}}_2=4{\mathbf{b}}_1,{\mathbf{b}}_4=2{\mathbf{b}}_1-{\mathbf{b}}_3$ ，相关关系完全适用于矩阵 $A$ 的列向量 ${\mathbf{a}}_2=4{\mathbf{a}}_1,{\mathbf{a}}_4=2{\mathbf{a}}_1-{\mathbf{a}}_3$ 。于是线性无关集 ${\mathbf{a}}_1,{\mathbf{a}}_3,{\mathbf{a}}_5$ 是 $\text{Col }A$ 的一组基 col  A = span  { a 1 , a 3 , a 5 } \text{col }A=\text{span }\{\mathbf a_1,\mathbf a_3,\mathbf a_5\} col A=span {a1​,a3​,a5​}。

注意：阶梯形矩阵的主元列通常不在原矩阵的列空间中。

矩阵的秩

矩阵的秩就是列空间的维度，记作 $\text{rank }A=\dim (\text{col }A)$。

前面介绍的都是方阵，表示向量空间到自身的映射。下面简单说下非方阵的映射关系。

一般地，$m\times n$ 维的矩阵，表示将 $n$ 维空间中的向量映射到 $m$ 维空间中。矩阵的第$j$列表示第 $j$ 个基向量变换后的坐标。例如：

$3\times 2$ 维矩阵是把二维空间映射到三维空间上，因为矩阵有两列，说明输入空间有两个基向量，三行表示每一个基向量在变换后用三个独立的坐标来描述。
[ 1 − 1 3 2 0 3 ] [ x y ] = [ 1 3 0 ] x + [ − 1 2 3 ] y

= x+ y ​130​−123​ ​[xy​]= ​130​ ​x+ ​−123​ ​y

$2\times 3$ 维矩阵是把三维空间映射到二维空间上，因为矩阵有三列，说明输入空间有三个基向量，二行表示每一个基向量在变换后用二个独立的坐标来描述。
[ 2 2 1 1 0 − 1 ] [ x y z ] = [ 2 1 ] x + [ 2 0 ] y + [ 1 − 1 ] z

= x+ y+ z [21​20​1−1​] ​xyz​ ​=[21​]x+[20​]y+[1−1​]z

若矩阵的秩等于列数，则称为满秩矩阵(full rank matrix)，零向量一定在列空间内，满秩变换中，唯一能落在原点的就是零向量自身。满秩矩阵的列即为列空间的基。

对于非满秩矩阵，意味着该线性变换会将空间压缩到一个更低维的空间，通俗来讲，就是会有一系列直线上不同方向的向量压缩为原点。

由此可得，秩可以用来描述线性变换对空间的压缩程度。

逆变换与逆矩阵

我们已经知道了矩阵与线性变换中的对应关系，试想一下，将变换后的向量还原到初始状态。

逆矩阵：对于 $n$ 阶方阵 $A$ ，如果存在 $n$ 阶方阵 $B$ ，使得
$$AB=BA=I$$
则称矩阵 $A$ 可逆(invertible)，$B$ 是 $A$ 的逆矩阵。实际上， $A$ 的逆矩阵是唯一的，记为 $A^{-1}$。因为，若 $B,C$ 都是 $A$ 的逆矩阵，则

$$B=(CA)B=C(AB)=C$$

不可逆矩阵有时称为奇异矩阵，而可逆矩阵也称为非奇异矩阵。

{% label 性质 orange %}：逆矩阵满足下列性质

1. $(A^{-1}{)}^{-1}=A$
2. $(kA{)}^{-1}=\frac{1}{k}{A}^{-1},(k\ne 0)$
3. $(AB{)}^{-1}=B^{-1}{A}^{-1}$
4. $(A^T{)}^{-1}=(A^{-1}{)}^T$

证明：(性质3)若方阵 $A,B$ 都可逆，则有
$$(AB)(B^{-1}{A}^{-1})=(B^{-1}{A}^{-1})(AB)=I$$
因此 $(AB{)}^{-1}=B^{-1}{A}^{-1}$ 。

从变换的角度考虑，复合变换的逆 $(f\circ g{)}^{-1}=g^{-1}\circ f^{-1}$ ，很容易理解。

(性质4)
$$I=(A{A}^{-1}{)}^T=(A^{-1}{)}^T{A}^T,I=(A^{-1}A{)}^T=A^T(A^{-1}{)}^T$$
因此 $(A^T{)}^{-1}=(A^{-1}{)}^T$ 。