- L0范数:向量中非零元素的个数,也称为0范数
- L1范数:为绝对值之和,也称为范数或者1范数
- L2范数:通常意义上的模,也称为2范数
- p范数:即向量元素绝对值的 p p p次方和的 1 / p 1/p 1/p次幂
- ∞ \infty ∞范数:取向量的最大值
- − ∞ -\infty −∞范数:取向量的最小值
假设有向量
x
=
(
x
1
,
x
2
,
…
,
x
n
)
T
x = (x_1,x_2,\dots,x_n)^T
x=(x1,x2,…,xn)T,向量的范数有:
∣
∣
x
∣
∣
1
=
∣
x
1
∣
+
∣
x
2
∣
+
⋯
+
∣
x
n
∣
||x||_1 = |x_1| + |x_2| + \dots + |x_n|
∣∣x∣∣1=∣x1∣+∣x2∣+⋯+∣xn∣
∣ ∣ x ∣ ∣ 2 = ( ∣ x 1 ∣ 2 + ∣ x 2 ∣ 2 + ⋯ + ∣ x n ∣ 2 ) 1 2 ||x||_2 = (|x_1|^2 + |x_2|^2 + \dots + |x_n|^2)^{\frac{1}{2}} ∣∣x∣∣2=(∣x1∣2+∣x2∣2+⋯+∣xn∣2)21
∣ ∣ x ∣ ∣ p = ( ∣ x 1 ∣ p + ∣ x 2 ∣ p + ⋯ + ∣ x n ∣ p ) 1 p ||x||_p = (|x_1|^p + |x_2|^p + \dots + |x_n|^p)^{\frac{1}{p}} ∣∣x∣∣p=(∣x1∣p+∣x2∣p+⋯+∣xn∣p)p1
∣ ∣ x ∣ ∣ ∞ = max { ∣ x 1 ∣ + ∣ x 2 ∣ + ⋯ + ∣ x n ∣ } ||x||_{\infty} = \max\{|x_1| + |x_2| + \dots + |x_n|\} ∣∣x∣∣∞=max{∣x1∣+∣x2∣+⋯+∣xn∣}
∣ ∣ x ∣ ∣ − ∞ = min { ∣ x 1 ∣ + ∣ x 2 ∣ + ⋯ + ∣ x n ∣ } ||x||_{-\infty} = \min\{|x_1| + |x_2| + \dots + |x_n|\} ∣∣x∣∣−∞=min{∣x1∣+∣x2∣+⋯+∣xn∣}
矩阵范数主要有以下三类,切记,三类范数不一样!!
又称为算子范数,定义矩阵A位于矩阵空间
R
m
×
n
\mathbb{R}^{m\times n}
Rm×n 上
∣
∣
x
∣
∣
=
max
{
∣
∣
A
x
∣
∣
;
x
∈
R
n
,
∣
∣
x
∣
∣
=
1
}
=
m
a
x
{
∣
∣
A
x
∣
∣
∣
∣
x
∣
∣
,
x
∈
R
n
,
x
≠
0
}
||x||= \max\{||Ax||;x\in \mathbb{R}^n,||x||=1 \} = max\left\{ \frac{||Ax||}{||x||}, x\in \mathbb{R}^n,x\ne 0 \right\}
∣∣x∣∣=max{∣∣Ax∣∣;x∈Rn,∣∣x∣∣=1}=max{∣∣x∣∣∣∣Ax∣∣,x∈Rn,x=0}
常用诱导范数为p范数,也称为
L
p
L_p
Lp 范数
∣
∣
A
∣
∣
p
=
m
a
x
{
∣
∣
A
x
∣
∣
p
∣
∣
x
∣
∣
p
,
x
≠
0
}
||A||_p = max\left\{ \frac{||Ax||_p}{||x||_p} ,x\ne 0 \right\}
∣∣A∣∣p=max{∣∣x∣∣p∣∣Ax∣∣p,x=0}
0范数:矩阵中非零元素的个数。
1范数又称为列范数
∣
∣
A
∣
∣
1
=
max
∑
i
=
1
m
∣
a
i
j
∣
,
1
≤
j
≤
n
||A||_1 = \max \sum_{i=1}^m |a_{ij}|,1 \le j \le n
∣∣A∣∣1=maxi=1∑m∣aij∣,1≤j≤n
无穷范数又称为行范数
∣
∣
A
∣
∣
∞
=
max
∑
j
=
1
n
∣
a
i
j
∣
,
1
≤
i
≤
n
||A||_\infty = \max \sum_{j=1}^n |a_{ij}|,1 \le i \le n
∣∣A∣∣∞=maxj=1∑n∣aij∣,1≤i≤n
2范数又称为谱范数,矩阵的谱范数为矩阵的最大奇异值
∣
∣
A
∣
∣
s
p
e
c
=
∣
∣
A
∣
∣
2
=
σ
m
a
x
(
A
)
=
λ
m
a
x
(
A
T
A
)
||A||_{spec} = ||A||_{2} = \sigma_{max}(A) = \sqrt{\lambda_{max}(A^TA)}
∣∣A∣∣spec=∣∣A∣∣2=σmax(A)=λmax(ATA)
σ
m
a
x
\sigma_{max}
σmax 表示求矩阵的最大奇异值,spec是谱的意思
将
m
×
n
m \times n
m×n 矩阵先按照列堆栈的形式,排列成一个
m
n
×
1
mn \times 1
mn×1 向量,然后采用向量的范数定义,即得到矩阵的范数
∣
∣
A
∣
∣
P
=
(
∑
i
=
1
m
∑
j
=
1
n
∣
a
i
j
∣
p
)
1
p
||A||_P = \left( \sum_{i=1}^m\sum_{j=1}^n |a_{ij}|^p \right)^\frac{1}{p}
∣∣A∣∣P=(i=1∑mj=1∑n∣aij∣p)p1
1范数又称为和范数或者L1范数
∣
∣
A
∣
∣
1
=
∑
i
=
1
m
∑
j
=
1
n
∣
a
i
j
∣
||A||_1 = \sum_{i=1}^m\sum_{j=1}^n |a_{ij}|
∣∣A∣∣1=i=1∑mj=1∑n∣aij∣
2范数又称为Forbenius范数
∣
∣
A
∣
∣
F
=
∣
∣
A
∣
∣
2
=
(
∑
i
=
1
m
∑
j
=
1
n
∣
a
i
j
∣
2
)
1
2
=
t
r
(
A
H
A
)
||A||_F = ||A||_2 = \left( \sum_{i=1}^m\sum_{j=1}^n |a_{ij}|^2 \right)^\frac{1}{2} = \sqrt{tr({A^HA})}
∣∣A∣∣F=∣∣A∣∣2=(i=1∑mj=1∑n∣aij∣2)21=tr(AHA)
∞
\infty
∞ 范数又称为最大范数
∣
∣
A
∣
∣
p
=
max
{
∣
a
i
j
∣
}
||A||_p = \max\{ |a_{ij}| \}
∣∣A∣∣p=max{∣aij∣}
用矩阵的奇异值定义的范数,令矩阵的奇异值组成一个向量 σ = [ σ 1 σ 2 … σ k ] \sigma = \begin{bmatrix} \sigma_1 & \sigma_2 & \dots & \sigma_k \end{bmatrix} σ=[σ1σ2…σk] , k = min ( m , n ) k=\min(m,n) k=min(m,n)
p范数定义如下
∣
∣
A
∣
∣
p
=
∣
∣
σ
∣
∣
p
=
(
∑
i
=
1
k
σ
i
p
)
1
p
||A||_p = ||\sigma||_p = (\sum_{i=1}^k \sigma_i^{p})^\frac{1}{p}
∣∣A∣∣p=∣∣σ∣∣p=(i=1∑kσip)p1
p=1,也称为核范数,为矩阵奇异值之和
∣
∣
A
∣
∣
1
=
∑
i
=
1
k
σ
i
=
t
r
(
A
H
A
)
||A||_1 =\sum_{i=1}^k \sigma_i = tr(\sqrt{A^HA})
∣∣A∣∣1=i=1∑kσi=tr(AHA)
p=2,Schattern范数与Frobenius等价
∣ ∣ A ∣ ∣ 1 = ( ∑ i = 1 k σ i 2 ) 1 2 = t r ( A H A ) = ( ∑ i = 1 m ∑ j = 1 n ∣ a i j ∣ 2 ) 1 2 ||A||_1 =(\sum_{i=1}^k \sigma_i^{2})^\frac{1}{2} = \sqrt{tr(A^HA)} = \left(\sum_{i=1}^m\sum_{j=1}^n |a_{ij}|^2 \right)^\frac{1}{2} ∣∣A∣∣1=(i=1∑kσi2)21=tr(AHA)=(i=1∑mj=1∑n∣aij∣2)21
p= ∞ \infty ∞,Schattern范数与谱范数相同
∣ ∣ A ∣ ∣ ∞ = σ m a x ( A ) ||A||_\infty = \sigma_{max}(A) ∣∣A∣∣∞=σmax(A)