矩阵论的所有文章,主要内容参考北航赵迪老师的课件
[注]由于矩阵论对计算机比较重要,所以选修了这门课,但不是专业搞数学的,所以存在很多口语化描述,而且对很多东西理解不是很正确与透彻,欢迎大家指正。我可能间歇性忙,但有空一定会回复修改的。
矩阵论
1. 准备知识——复数域上矩阵,Hermite变换)
1.准备知识——复数域上的内积域正交阵
1.准备知识——Hermite阵,二次型,矩阵合同,正定阵,幂0阵,幂等阵,矩阵的秩
2. 矩阵分解——SVD准备知识——奇异值
2. 矩阵分解——SVD
2. 矩阵分解——QR分解
2. 矩阵分解——正定阵分解
2. 矩阵分解——单阵谱分解
2. 矩阵分解——正规分解——正规阵
2. 矩阵分解——正规谱分解
2. 矩阵分解——高低分解
3. 矩阵函数——常见解析函数
3. 矩阵函数——谱公式,幂0与泰勒计算矩阵函数
3. 矩阵函数——矩阵函数求导
4. 矩阵运算——观察法求矩阵特征值特征向量
4. 矩阵运算——张量积
4. 矩阵运算——矩阵拉直
4.矩阵运算——广义逆——加号逆定义性质与特殊矩阵的加号逆
4. 矩阵运算——广义逆——加号逆的计算
4. 矩阵运算——广义逆——加号逆应用
4. 矩阵运算——广义逆——减号逆
5. 线性空间与线性变换——线性空间
5. 线性空间与线性变换——生成子空间
5. 线性空间与线性变换——线性映射与自然基分解,线性变换
6. 正规方程与矩阵方程求解
7. 范数理论——基本概念——向量范数与矩阵范数
7.范数理论——基本概念——矩阵范数生成向量范数&谱范不等式
7. 矩阵理论——算子范数
7.范数理论——范数估计——许尔估计&谱估计
7. 范数理论——非负/正矩阵
8. 常用矩阵总结——秩1矩阵,优阵(单位正交阵),Hermite阵
8. 常用矩阵总结——镜面阵,正定阵
8. 常用矩阵总结——单阵,正规阵,幂0阵,幂等阵,循环阵

X
=
(
x
1
x
2
⋮
x
n
)
,
Y
=
(
y
1
y
2
⋮
y
n
)
∈
C
n
X=\left(
( X , Y ) = Δ Y H X = x 1 y 1 ‾ + x 2 y 2 ‾ + ⋯ + x n y n ‾ = ∑ i = 1 n x i y i ‾ = t r ( Y H X ) (X,Y)\overset{\Delta}{=}Y^HX=x_1\overline{y_1}+x_2\overline{y_2}+\cdots+x_n\overline{y_n}=\sum\limits_{i=1}\limits^{n}x_i\overline{y_i}=tr(Y^HX) (X,Y)=ΔYHX=x1y1+x2y2+⋯+xnyn=i=1∑nxiyi=tr(YHX)
( Y , X ) = X H Y = x 1 ‾ y 1 + x 2 ‾ y 2 + ⋯ + x n ‾ y 1 = ∑ i = 1 n x i ‾ y i = t r ( X H Y ) (Y,X)=X^HY=\overline{x_1}y_1+\overline{x_2}y_2+\cdots+\overline{x_n}y_1=\sum\limits_{i=1}\limits^{n}\overline{x_i}y_i=tr(X^HY) (Y,X)=XHY=x1y1+x2y2+⋯+xny1=i=1∑nxiyi=tr(XHY)
若取
Y
=
X
Y=X
Y=X ,则其内积
(
X
,
X
)
=
X
H
X
=
x
1
x
1
‾
+
x
2
x
2
‾
+
⋯
+
x
n
x
n
‾
=
∑
i
=
1
n
x
i
x
i
‾
=
∣
x
1
∣
2
+
∣
x
2
∣
2
+
⋯
+
∣
x
n
∣
2
=
∣
X
∣
2
=
t
r
(
X
H
X
)
=
t
r
(
X
X
H
)
(
A
,
B
)
=
Δ
t
r
(
B
H
A
)
=
t
r
(
A
H
B
)
=
∑
a
i
j
b
i
j
‾
,
A
,
B
∈
C
m
,
n
(
A
,
A
)
=
Δ
t
r
(
A
H
A
)
=
t
r
(
A
A
H
)
=
∑
a
i
j
a
i
j
‾
=
∑
∣
a
i
j
∣
2
矩阵A的模长: ∣ ∣ A ∣ ∣ = ( A , A ) = t r ( A A H ) = ∑ ∣ a i j ∣ 2 \vert \vert A \vert \vert=\sqrt{(A,A)}=\sqrt{tr(AA^H)}=\sqrt{\sum\vert a_{ij} \vert^2} ∣∣A∣∣=(A,A)=tr(AAH)=∑∣aij∣2

( A , A ) = t r ( A H A ) = ∑ ∣ a i j ∣ 2 ≥ 0 (A,A)=tr(A^HA)=\sum\vert a_{ij} \vert^2 \ge 0 (A,A)=tr(AHA)=∑∣aij∣2≥0 ;若 A ≠ 0 A\neq 0 A=0 ,则 ( A , A ) > 0 (A,A)>0 (A,A)>0
( A , B ) = ( B , A ) ‾ (A,B)=\overline{(B,A)} (A,B)=(B,A)
( k A , B ) = k ( A , B ) , ( A , k B ) = k ‾ ( A , B ) (kA,B)=k(A,B),(A,kB)=\overline{k}(A,B) (kA,B)=k(A,B),(A,kB)=k(A,B)
(A+B,D)=(A,D)+(B,D),(D,A+B)=(D,A)+(D,B)
∣ ( A , B ) ∣ 2 ≤ ∣ A ∣ ⋅ ∣ B ∣ \vert (A,B) \vert^2 \le \vert A\vert\cdot\vert B \vert ∣(A,B)∣2≤∣A∣⋅∣B∣
A
=
(
a
11
⋯
a
1
p
⋮
⋱
⋮
a
n
1
⋯
a
n
p
)
∈
C
n
×
p
=
(
α
1
,
⋯
,
α
p
)
,
其中
α
i
为
n
维列向量
(
n
×
1
阶矩阵
)
A
H
=
(
a
11
‾
⋯
a
n
1
‾
⋮
⋱
⋮
a
1
p
‾
⋯
a
n
p
‾
)
∈
C
p
×
n
=
(
α
1
‾
T
⋮
α
p
‾
T
)
,其中
α
1
‾
T
是
n
维行向量
(
1
×
n
阶矩阵
)
A
H
A
=
(
α
1
‾
T
⋮
α
p
‾
T
)
(
α
1
,
⋯
,
α
p
)
=
(
α
1
‾
T
α
1
α
1
‾
T
α
2
⋯
α
1
‾
T
α
p
α
2
‾
T
α
1
α
2
‾
T
α
2
⋯
α
2
‾
T
α
p
⋮
⋮
⋱
⋮
α
p
‾
T
α
1
α
p
‾
T
α
2
⋯
α
p
‾
T
α
p
)
=
(
(
α
1
,
α
1
)
(
α
2
,
α
1
)
⋯
(
α
p
,
α
1
)
(
α
1
,
α
2
)
(
α
2
,
α
2
)
⋯
(
α
p
,
α
2
)
⋮
⋮
⋱
⋮
(
α
1
,
α
p
)
(
α
2
,
α
p
)
⋯
(
α
p
,
α
p
)
)
=
(
(
α
1
,
α
1
)
‾
(
α
1
,
α
2
)
‾
⋯
(
α
1
,
α
p
)
‾
(
α
2
,
α
1
)
‾
(
α
2
,
α
2
)
‾
⋯
(
α
2
,
α
p
)
‾
⋮
⋮
⋱
⋮
(
α
p
,
α
1
)
‾
(
α
p
,
α
2
)
‾
⋯
(
α
p
,
α
p
)
‾
)
A
=
(
a
11
⋯
a
1
p
⋮
⋱
⋮
a
n
1
⋯
a
n
p
)
∈
C
n
×
p
=
(
α
1
α
2
⋮
α
n
)
,
其中
α
i
为
p
维行向量
(
1
×
p
阶矩阵
)
A
H
=
(
α
1
‾
T
α
2
‾
T
⋯
α
n
‾
T
)
,
其中
α
i
‾
T
为
p
维列向量
(
p
×
1
阶矩阵
)
A
A
H
=
(
α
1
α
2
⋮
α
n
)
(
α
1
‾
T
α
2
‾
T
⋯
α
n
‾
T
)
=
(
α
1
α
1
‾
T
α
1
α
2
‾
T
⋯
α
1
α
n
‾
T
α
2
α
1
‾
T
α
2
α
2
‾
T
⋯
α
2
α
n
‾
T
⋮
⋮
⋱
⋮
α
n
α
1
‾
T
α
n
α
2
‾
T
⋯
α
n
α
n
‾
T
)
=
(
(
α
1
,
α
1
)
(
α
1
,
α
2
)
⋯
(
α
1
,
α
n
)
(
α
2
,
α
1
)
(
α
2
,
α
2
)
⋯
(
α
2
,
α
n
)
⋮
⋮
⋱
⋮
(
α
n
,
α
1
)
(
α
n
,
α
2
)
⋯
(
α
n
,
α
n
)
)
X
=
(
x
1
x
2
⋮
x
n
)
∈
C
,
则其模长
∣
X
∣
=
∣
x
1
∣
2
+
∣
x
2
∣
2
+
⋯
∣
x
n
∣
2
∣ k ⋅ X ∣ = ∣ k ∣ ⋅ ∣ X ∣ , k ∈ C \mid k\cdot X \mid = \mid k \mid \cdot \mid X \mid ,k\in C ∣k⋅X∣=∣k∣⋅∣X∣,k∈C
∣ X k ∣ = ∣ X ∣ ∣ k ∣ , ( k ≠ 0 ⃗ ) \vert \frac{X}{k} \vert=\frac{\vert X\vert}{\vert k \vert},(k\neq \vec{0}) ∣kX∣=∣k∣∣X∣,(k=0)
∣ X ± Y ∣ ≤ ∣ X ∣ + ∣ Y ∣ \vert X\pm Y\vert \le \vert X\vert + \vert Y \vert ∣X±Y∣≤∣X∣+∣Y∣
令
X
=
(
x
1
x
2
⋮
x
n
)
∈
C
,
则
{
①
X
H
X
=
∣
X
∣
2
②
t
r
(
X
H
X
)
=
t
r
(
X
X
H
)
=
∣
X
∣
2
,
其中
∣
X
∣
2
=
∣
x
1
∣
2
+
∣
x
2
∣
2
+
⋯
+
∣
x
n
∣
2
=
∑
i
=
1
n
∣
x
i
∣
2
区分 :复数的模平方和复数平方的模
eg
X
=
(
1
i
1
)
∈
C
3
,
X
X
H
=
(
1
i
1
)
(
1
−
i
1
)
=
(
1
∗
1
∗
1
)
∴
t
r
(
X
H
X
)
=
t
r
(
X
X
H
)
=
∣
1
∣
2
+
∣
−
i
2
∣
2
+
∣
1
∣
2
=
3
令
A
=
(
a
i
j
)
∈
C
,
则模长
(
矩阵的
F
范数
)
∣
∣
A
∣
∣
=
∑
i
=
1
n
∣
a
i
j
∣
2
设
A
=
(
a
i
j
)
n
×
p
,
则
t
r
(
A
H
A
)
=
t
r
(
A
A
H
)
=
∣
∣
A
∣
∣
2
=
∑
i
=
1
n
∣
a
i
j
∣
2
eg
X
=
(
1
i
1
)
∈
C
3
×
1
,
则
∣
X
∣
2
=
X
H
X
=
(
1
,
−
i
,
1
)
(
1
i
1
)
=
1
+
−
i
2
+
1
=
3
对于方阵
A
=
(
a
i
j
)
n
×
n
A=(a_{ij})_{n\times n}
A=(aij)n×n ,有
{
t
r
(
A
)
=
Δ
a
11
+
a
22
+
⋯
+
a
n
n
=
∑
i
=
1
n
λ
i
d
e
t
(
A
)
=
∣
A
∣
=
∏
i
=
1
n
λ
i
X
=
(
x
1
x
2
⋮
x
n
)
,
Y
=
(
y
1
y
2
⋮
y
n
)
∈
C
n
X
⊥
Y
⟺
(
X
,
Y
)
=
0
=
x
1
y
1
‾
+
x
2
y
2
‾
+
⋯
+
x
n
y
n
‾
=
x
1
‾
y
1
+
x
2
‾
y
2
+
⋯
+
x
n
‾
y
n
‾
=
(
Y
,
X
)
X ⊥ Y ⇒ a X ⊥ b Y X\bot Y\Rightarrow aX\bot bY X⊥Y⇒aX⊥bY
证: ( a X , b Y ) = b ‾ Y H a X = a b ‾ Y H X = a b ‾ ( X , Y ) = 0 (aX,bY)=\overline{b}Y^HaX=a\overline{b}Y^HX=a\overline{b}(X,Y)=0 (aX,bY)=bYHaX=abYHX=ab(X,Y)=0
勾股定理: X 1 ⊥ X 2 ⊥ ⋯ ⊥ X n ⇒ ∣ c 1 X 1 ± c 2 X 2 ± ⋯ ± c n X n ∣ 2 = ∣ c 1 X 1 ∣ 2 + ∣ c 2 X 2 ∣ 2 + ⋯ + ∣ c n X n ∣ 2 X_1\bot X_2\bot \cdots \bot X_n\Rightarrow \vert c_1X_1\pm c_2X_2\pm \cdots \pm c_nX_n\vert^2=\vert c_1X_1\vert^2+\vert c_2X_2\vert^2+\cdots+\vert c_nX_n\vert^2 X1⊥X2⊥⋯⊥Xn⇒∣c1X1±c2X2±⋯±cnXn∣2=∣c1X1∣2+∣c2X2∣2+⋯+∣cnXn∣2
此时, X 1 , X 2 , ⋯ , x n X_1,X_2,\cdots,x_n X1,X2,⋯,xn 称为一个正交组
若 X ≠ 0 ⃗ X\neq \vec{0} X=0 , X ∣ X ∣ \frac{X}{\vert X \vert} ∣X∣X 是一个单位向量( ∣ X ∣ X ∣ ∣ = 1 \vert \frac{X}{\vert X \vert} \vert=1 ∣∣X∣X∣=1)

预:非单位列向量
半:p个n维列向量(p
α
1
,
α
2
,
⋯
,
α
p
\alpha_1,\alpha_2,\cdots,\alpha_p
α1,α2,⋯,αp 是
n
n
n 维列向量,且
p
≤
n
p\le n
p≤n ,且
α
1
⊥
α
2
⊥
⋯
⊥
α
p
\alpha_1\bot\alpha_2\bot \cdots\bot\alpha_p
α1⊥α2⊥⋯⊥αp
A
=
(
α
1
,
α
2
,
⋯
,
α
p
)
A=(\alpha_1,\alpha_2,\cdots,\alpha_p)
A=(α1,α2,⋯,αp) 是预半优阵
⟺
A
H
A
=
(
(
α
1
,
α
1
)
⋯
0
⋮
⋱
0
0
⋯
(
α
p
,
α
p
)
)
\iff A^HA=\left( 区分 :
A
H
A
A^HA
AHA 是
p
×
p
p \times p
p×p 阶满秩方阵,而
A
A
H
AA^H
AAH 是
n
×
n
n\times n
n×n 不满秩方阵
A
=
(
α
1
,
α
2
,
⋯
,
α
p
)
A=(\alpha_1,\alpha_2,\cdots,\alpha_p)
A=(α1,α2,⋯,αp) 是预半优阵,其中
α
i
\alpha_i
αi 是
n
n
n 维列向量,若满足
∣
α
1
∣
=
∣
α
2
∣
=
⋯
=
∣
α
p
∣
=
1
\vert \alpha_1 \vert=\vert \alpha_2 \vert=\cdots=\vert \alpha_p \vert = 1
∣α1∣=∣α2∣=⋯=∣αp∣=1 ,则A为半优阵
A
=
(
α
1
,
⋯
,
α
p
)
A=(\alpha_1,\cdots,\alpha_p)
A=(α1,⋯,αp) 是半优阵
⟺
α
1
⊥
⋯
⊥
α
p
\iff \alpha_1\bot\cdots\bot\alpha_p
⟺α1⊥⋯⊥αp ,且
∣
α
1
∣
=
⋯
=
∣
α
p
∣
=
1
\vert \alpha_1 \vert=\cdots=\vert \alpha_p \vert=1
∣α1∣=⋯=∣αp∣=1
⟺
A
H
A
=
I
p
\iff A^HA=I_{p}
⟺AHA=Ip 保模长 A为半U阵,则
∣
A
x
∣
2
=
∣
x
∣
2
\vert Ax \vert^2=\vert x \vert^2
∣Ax∣2=∣x∣2
∣
A
x
∣
2
=
(
A
x
)
H
(
A
x
)
=
x
H
A
H
A
x
=
∣
X
∣
2
\vert Ax \vert^2=(Ax)^H(Ax)=x^HA^HAx=\vert X\vert^2
∣Ax∣2=(Ax)H(Ax)=xHAHAx=∣X∣2 保正交 A为半优阵,
x
⊥
y
x\bot y
x⊥y ,则
A
x
⊥
A
y
Ax\bot Ay
Ax⊥Ay
α
1
,
α
2
,
⋯
,
α
n
\alpha_1,\alpha_2,\cdots,\alpha_n
α1,α2,⋯,αn 是
n
n
n 维列向量,且
α
1
⊥
α
2
⊥
⋯
⊥
α
n
\alpha_1\bot\alpha_2\bot\cdots\bot\alpha_n
α1⊥α2⊥⋯⊥αn ,则
A
=
(
α
1
,
α
2
,
⋯
,
α
n
)
A=(\alpha_1,\alpha_2,\cdots,\alpha_n)
A=(α1,α2,⋯,αn) 是预优阵 eg
A
=
(
α
1
,
α
2
,
⋯
,
α
n
)
⟺
A
H
A
=
(
(
α
1
,
α
1
)
⋯
0
⋮
⋱
0
0
⋯
(
α
n
,
α
n
)
)
是对角阵
其中,
α
1
,
α
2
,
⋯
,
α
p
是
n
维列向量
α
1
,
α
2
,
⋯
,
α
n
\alpha_1,\alpha_2,\cdots,\alpha_n
α1,α2,⋯,αn 是
n
n
n 维列向量,
α
1
⊥
α
2
⊥
⋯
⊥
α
n
\alpha_1\bot\alpha_2\bot\cdots\bot\alpha_n
α1⊥α2⊥⋯⊥αn 且
∣
α
1
∣
=
⋯
=
∣
α
n
∣
=
1
\vert \alpha_1 \vert=\cdots=\vert \alpha_n \vert=1
∣α1∣=⋯=∣αn∣=1 ,则
A
A
A 是一个优阵(正交阵)
A
A
A 是优阵
⟺
A
H
A
=
I
⟺
A
−
1
A
=
I
⟺
A
A
H
=
I
\iff A^HA=I\iff A^{-1}A=I\iff AA^H=I
⟺AHA=I⟺A−1A=I⟺AAH=I
⟺
A
=
(
α
1
,
α
2
,
⋯
,
α
n
)
\iff A=(\alpha_1,\alpha_2,\cdots,\alpha_n)
⟺A=(α1,α2,⋯,αn) ,且
α
1
⊥
α
2
,
⋯
⊥
α
n
\alpha_1\bot\alpha_2,\cdots\bot\alpha_n
α1⊥α2,⋯⊥αn ,
∣
α
1
∣
=
⋯
=
∣
α
n
∣
=
1
\vert \alpha_1\vert=\cdots=\vert\alpha_n\vert=1
∣α1∣=⋯=∣αn∣=1
∣
A
x
∣
2
=
∣
x
∣
2
\vert Ax\vert^2=\vert x \vert^2
∣Ax∣2=∣x∣2 ,
A
A
A 是优阵
x
⊥
y
⇒
A
x
⊥
A
y
x\bot y \Rightarrow Ax\bot Ay
x⊥y⇒Ax⊥Ay ,
A
A
A 是优阵
(
A
x
,
A
y
)
=
(
x
,
y
)
(Ax,Ay)=(x,y)
(Ax,Ay)=(x,y),
A
A
A 是优阵 预优阵到优阵 优阵到优阵 若
A
=
(
α
1
,
α
2
,
⋯
,
α
n
)
A=(\alpha_1,\alpha_2,\cdots,\alpha_n)
A=(α1,α2,⋯,αn) 为优阵,则 向量构造优阵 将向量作为镜面阵的法向量,构造镜面阵(优阵+H阵) 若
α
=
(
a
1
a
2
⋮
a
n
)
∈
C
\alpha=\left(
A
H
=
A
A^H=A
AH=A 且
A
2
=
I
(
A
−
1
=
A
)
A^2=I(A^{-1}=A)
A2=I(A−1=A)
A
A
A 为优阵
(
A
H
A
=
I
)
(A^HA=I)
(AHA=I) eg :a. 预-半优阵(预-半正交阵)
,则称
A
=
(
α
1
,
α
2
,
⋯
,
α
p
)
A=(\alpha_1,\alpha_2,\cdots,\alpha_p)
A=(α1,α2,⋯,αp) 为预半优阵判定

b. 半优阵(半正交阵)
判定
性质
c. 预-优阵(预-单位正交阵)
X
1
=
(
1
i
i
)
,
X
2
=
(
2
i
1
1
)
,
X
3
=
(
0
1
−
1
)
(
X
1
,
X
2
)
=
0
,
(
X
2
,
X
3
)
=
0
,
(
X
1
,
X
3
)
=
0
,
∴
X
1
⊥
X
2
⊥
X
3
,
A
=
(
X
1
,
X
2
,
X
3
)
是预
−
优阵
判定

d. 优阵(正交阵)
性质
判定
∵
∣
A
x
∣
2
=
(
A
x
)
H
(
A
x
)
=
x
H
A
H
A
x
=
x
H
I
x
=
(
x
,
x
)
=
∣
x
∣
2
\because \vert Ax\vert^2 = (Ax)^H(Ax)=x^HA^HAx=x^HIx=(x,x)=\vert x \vert^2
∵∣Ax∣2=(Ax)H(Ax)=xHAHAx=xHIx=(x,x)=∣x∣2
∵
(
A
x
,
A
y
)
=
(
A
y
)
H
A
x
=
y
H
A
H
A
x
=
(
x
,
y
)
=
0
⟺
A
x
⊥
A
y
\because (Ax,Ay)=(Ay)^HAx=y^HA^HAx=(x,y)=0\iff Ax\bot Ay
∵(Ax,Ay)=(Ay)HAx=yHAHAx=(x,y)=0⟺Ax⊥Ay优阵构造
A
=
(
α
1
,
⋯
,
α
n
)
是预优阵
⇒
A
=
(
α
1
∣
α
1
∣
,
α
2
∣
α
2
∣
,
⋯
,
α
n
∣
α
n
∣
)
是优阵

1.
A
2
=
(
I
n
−
2
α
α
H
∣
α
∣
2
)
(
I
n
−
2
α
α
H
∣
α
∣
2
)
=
I
n
2
−
4
α
α
H
∣
α
∣
2
+
4
(
α
α
H
)
(
α
α
H
)
∣
α
∣
4
=
I
n
−
4
α
α
H
∣
α
∣
2
+
4
α
(
α
H
α
)
α
H
∣
α
∣
4
=
I
n
−
4
α
α
H
∣
α
∣
2
+
4
α
(
∣
α
∣
2
)
α
H
∣
α
∣
4
=
I
n
−
4
α
α
H
∣
α
∣
2
+
4
α
α
H
∣
α
∣
2
=
I
n
2.
A
H
A
=
(
I
n
−
2
α
α
H
∣
α
∣
2
)
H
(
I
n
−
2
α
α
H
∣
α
∣
2
)
=
(
I
n
−
2
α
α
H
∣
α
∣
2
)
(
I
n
−
2
α
α
H
∣
α
∣
2
)
=
A
2
=
I
∴
A
是
U
阵
α
=
(
1
1
1
)
,
其
U
阵为
I
3
−
2
α
α
H
∣
α
∣
2
=
(
1
0
0
0
1
0
0
0
1
)
−
2
3
(
1
1
1
1
1
1
1
1
1
)
=
(
1
3
−
2
3
−
2
3
−
2
3
1
3
−
2
3
−
2
3
−
2
3
1
3
)