• 向量与矩阵范数的详细解读


    一、向量

    • L0范数:向量中非零元素的个数,也称为0范数
    • L1范数:为绝对值之和,也称为范数或者1范数
    • L2范数:通常意义上的模,也称为2范数
    • p范数:即向量元素绝对值的 p p p次方和的 1 / p 1/p 1/p次幂
    • ∞ \infty 范数:取向量的最大值
    • − ∞ -\infty 范数:取向量的最小值

    假设有向量 x = ( x 1 , x 2 , … , x n ) T x = (x_1,x_2,\dots,x_n)^T x=(x1,x2,,xn)T,向量的范数有:
    ∣ ∣ x ∣ ∣ 1 = ∣ x 1 ∣ + ∣ x 2 ∣ + ⋯ + ∣ x n ∣ ||x||_1 = |x_1| + |x_2| + \dots + |x_n| ∣∣x1=x1+x2++xn

    ∣ ∣ x ∣ ∣ 2 = ( ∣ x 1 ∣ 2 + ∣ x 2 ∣ 2 + ⋯ + ∣ x n ∣ 2 ) 1 2 ||x||_2 = (|x_1|^2 + |x_2|^2 + \dots + |x_n|^2)^{\frac{1}{2}} ∣∣x2=(x12+x22++xn2)21

    ∣ ∣ x ∣ ∣ p = ( ∣ x 1 ∣ p + ∣ x 2 ∣ p + ⋯ + ∣ x n ∣ p ) 1 p ||x||_p = (|x_1|^p + |x_2|^p + \dots + |x_n|^p)^{\frac{1}{p}} ∣∣xp=(x1p+x2p++xnp)p1

    ∣ ∣ x ∣ ∣ ∞ = max ⁡ { ∣ x 1 ∣ + ∣ x 2 ∣ + ⋯ + ∣ x n ∣ } ||x||_{\infty} = \max\{|x_1| + |x_2| + \dots + |x_n|\} ∣∣x=max{x1+x2++xn}

    ∣ ∣ x ∣ ∣ − ∞ = min ⁡ { ∣ x 1 ∣ + ∣ x 2 ∣ + ⋯ + ∣ x n ∣ } ||x||_{-\infty} = \min\{|x_1| + |x_2| + \dots + |x_n|\} ∣∣x=min{x1+x2++xn}

    二、矩阵

    矩阵范数主要有以下三类,切记,三类范数不一样!!

    2.1、诱导范数

    又称为算子范数,定义矩阵A位于矩阵空间 R m × n \mathbb{R}^{m\times n} Rm×n
    ∣ ∣ x ∣ ∣ = max ⁡ { ∣ ∣ A x ∣ ∣ ; x ∈ R n , ∣ ∣ x ∣ ∣ = 1 } = m a x { ∣ ∣ A x ∣ ∣ ∣ ∣ x ∣ ∣ , x ∈ R n , x ≠ 0 } ||x||= \max\{||Ax||;x\in \mathbb{R}^n,||x||=1 \} = max\left\{ \frac{||Ax||}{||x||}, x\in \mathbb{R}^n,x\ne 0 \right\} ∣∣x∣∣=max{∣∣Ax∣∣;xRn,∣∣x∣∣=1}=max{∣∣x∣∣∣∣Ax∣∣,xRn,x=0}
    常用诱导范数为p范数,也称为 L p L_p Lp 范数
    ∣ ∣ A ∣ ∣ p = m a x { ∣ ∣ A x ∣ ∣ p ∣ ∣ x ∣ ∣ p , x ≠ 0 } ||A||_p = max\left\{ \frac{||Ax||_p}{||x||_p} ,x\ne 0 \right\} ∣∣Ap=max{∣∣xp∣∣Axp,x=0}
    0范数:矩阵中非零元素的个数。

    1范数又称为列范数
    ∣ ∣ A ∣ ∣ 1 = max ⁡ ∑ i = 1 m ∣ a i j ∣ , 1 ≤ j ≤ n ||A||_1 = \max \sum_{i=1}^m |a_{ij}|,1 \le j \le n ∣∣A1=maxi=1maij,1jn
    无穷范数又称为行范数
    ∣ ∣ A ∣ ∣ ∞ = max ⁡ ∑ j = 1 n ∣ a i j ∣ , 1 ≤ i ≤ n ||A||_\infty = \max \sum_{j=1}^n |a_{ij}|,1 \le i \le n ∣∣A=maxj=1naij,1in
    2范数又称为谱范数,矩阵的谱范数为矩阵的最大奇异值
    ∣ ∣ A ∣ ∣ s p e c = ∣ ∣ A ∣ ∣ 2 = σ m a x ( A ) = λ m a x ( A T A ) ||A||_{spec} = ||A||_{2} = \sigma_{max}(A) = \sqrt{\lambda_{max}(A^TA)} ∣∣Aspec=∣∣A2=σmax(A)=λmax(ATA)
    σ m a x \sigma_{max} σmax 表示求矩阵的最大奇异值,spec是谱的意思

    2.2、元素范数

    m × n m \times n m×n 矩阵先按照列堆栈的形式,排列成一个 m n × 1 mn \times 1 mn×1 向量,然后采用向量的范数定义,即得到矩阵的范数
    ∣ ∣ A ∣ ∣ P = ( ∑ i = 1 m ∑ j = 1 n ∣ a i j ∣ p ) 1 p ||A||_P = \left( \sum_{i=1}^m\sum_{j=1}^n |a_{ij}|^p \right)^\frac{1}{p} ∣∣AP=(i=1mj=1naijp)p1
    1范数又称为和范数或者L1范数
    ∣ ∣ A ∣ ∣ 1 = ∑ i = 1 m ∑ j = 1 n ∣ a i j ∣ ||A||_1 = \sum_{i=1}^m\sum_{j=1}^n |a_{ij}| ∣∣A1=i=1mj=1naij
    2范数又称为Forbenius范数
    ∣ ∣ A ∣ ∣ F = ∣ ∣ A ∣ ∣ 2 = ( ∑ i = 1 m ∑ j = 1 n ∣ a i j ∣ 2 ) 1 2 = t r ( A H A ) ||A||_F = ||A||_2 = \left( \sum_{i=1}^m\sum_{j=1}^n |a_{ij}|^2 \right)^\frac{1}{2} = \sqrt{tr({A^HA})} ∣∣AF=∣∣A2=(i=1mj=1naij2)21=tr(AHA)
    ∞ \infty 范数又称为最大范数
    ∣ ∣ A ∣ ∣ p = max ⁡ { ∣ a i j ∣ } ||A||_p = \max\{ |a_{ij}| \} ∣∣Ap=max{aij}

    2.3、Schatten范数

    用矩阵的奇异值定义的范数,令矩阵的奇异值组成一个向量 σ = [ σ 1 σ 2 … σ k ] \sigma = \begin{bmatrix} \sigma_1 & \sigma_2 & \dots & \sigma_k \end{bmatrix} σ=[σ1σ2σk] , k = min ⁡ ( m , n ) k=\min(m,n) k=min(m,n)

    p范数定义如下
    ∣ ∣ A ∣ ∣ p = ∣ ∣ σ ∣ ∣ p = ( ∑ i = 1 k σ i p ) 1 p ||A||_p = ||\sigma||_p = (\sum_{i=1}^k \sigma_i^{p})^\frac{1}{p} ∣∣Ap=∣∣σp=(i=1kσip)p1
    p=1,也称为核范数,为矩阵奇异值之和
    ∣ ∣ A ∣ ∣ 1 = ∑ i = 1 k σ i = t r ( A H A ) ||A||_1 =\sum_{i=1}^k \sigma_i = tr(\sqrt{A^HA}) ∣∣A1=i=1kσi=tr(AHA )
    p=2,Schattern范数与Frobenius等价

    ∣ ∣ A ∣ ∣ 1 = ( ∑ i = 1 k σ i 2 ) 1 2 = t r ( A H A ) = ( ∑ i = 1 m ∑ j = 1 n ∣ a i j ∣ 2 ) 1 2 ||A||_1 =(\sum_{i=1}^k \sigma_i^{2})^\frac{1}{2} = \sqrt{tr(A^HA)} = \left(\sum_{i=1}^m\sum_{j=1}^n |a_{ij}|^2 \right)^\frac{1}{2} ∣∣A1=(i=1kσi2)21=tr(AHA) =(i=1mj=1naij2)21

    p= ∞ \infty ,Schattern范数与谱范数相同

    ∣ ∣ A ∣ ∣ ∞ = σ m a x ( A ) ||A||_\infty = \sigma_{max}(A) ∣∣A=σmax(A)

  • 相关阅读:
    数据库执行计划与更新统计信息(AI问答)
    解码yakit 适配中国的 只要base64加密直接yakit
    【软考】系统集成项目管理工程师(八)项目进度管理
    Libvirt-Qemu-Kvm 操作手记
    新旧混战,内衣竞争终局在哪里?
    watch和watchEffect之间的小关系
    用Google CDC来同步Cloud SQL的数据到Bigquery
    布隆过滤器(Bloom Filter)
    【逐步剖C++】-第二章-C++类和对象(中)
    10000字!图解机器学习特征工程
  • 原文地址:https://blog.csdn.net/weixin_43903639/article/details/132862903