一、基础知识(1)-范数、导数

一、范数

1.1 向量范数

1. 定义：满足正定、齐次、三角不等式，则称从向量空间到实数域的非负函数的范数
2. $l_p$范数：$||v|{|}_p=(|v_1{|}^p+|v_2{|}^p+...+|v_n{|}^p{)}^{\frac{1}{p}}$
3. $l_{\infty }范数$：$||v|{|}_{\infty }=max(|v_i|)$

1.2 矩阵范数

1. $l_2范数,F范数$：$||A|{|}_F=\sqrt{Tr(A{A}^T)}=\sqrt{\sum a_{ij}^2}$
   1. 正交不变性：$||UAV|{|}_F^2=Tr(UAV{V}^T{A}^T{U}^T)=Tr(UA{A}^T{U}^T)=Tr(A{A}^T{U}^{T}U)=Tr(A{A}^T)=||A|{|}_F^2$。
      1. $U\in R^{m\times m}、V\in R^{n\times n}$是正交矩阵
      2. $Tr(X)=\sum a_{ii}$，矩阵的迹，对角线的和。
2. 核范数：$A\in R^{m\times n},||A|{|}_{\ast }={\sum }_{i=1}^r{\sigma }_i$
   1. ${\sigma }_i为A的所有非零奇异值,r=rank(A)$
   2. 奇异值：设A为$m\ast n$阶矩阵，$q=min(m,n)$，$A\ast A$的q个非负特征值的算术平方根叫作A的奇异值。

1.3 矩阵内积

1. Frobenius内积:常用来表示两个矩阵(张成的空间)之间的夹角
2. 定义：$<A,B>\stackrel{def}{=}Tr(A{B}^T)=\sum \sum a_{ij}{b}_{ij}$

二、导数

2.1 梯度、海瑟矩阵

1. 梯度：$\underset{p\to 0}{\lim }\frac{f(x+p)-f(x)-g^{T}p}{||p||}=0$
   • $||\cdot ||$是任意向量范数，g为$f$在x点处的梯度
2. 海瑟矩阵:$f(x):R^n\to R$
   
   1. 二阶可微：${\nabla }^{2}f(x)$在区域D上的每个点x都存在
   2. 二阶连续可微：${\nabla }^{2}f(x)$在D上还连续，可以证明此时海瑟矩阵还是对称矩阵。
3. 雅克比矩阵$J(x)$,$f:R^n\to R^m$是向量值函数
   
4. 梯度利普希茨连续：
   1. 可微函数$f$，若存在$L>0$，对任意$x,y\in domf$有$||\nabla f(x)-\nabla f(y)||\le L||x-y||$,称$f$是梯度利普希茨连续的，$L$为相应的函数，称为$L-光滑$
   2. 二次上界：$f(x)可微，且为L-光滑，则f(x)有二次上界：f(y)\le f(x)+\nabla f(x{)}^T(y-x)+\frac{L}{2}||y-x|{|}^2$
   3. $f(x)可微,存在全局极小点x^{\ast },且f(x)为L-利普希茨连续$则：$\frac{1}{2L}||\nabla f(x)|{|}^2\le f(x)-f(x^{\ast })$

2.2矩阵变量的导数

1. Gâteaux可微：$\stackrel{lim}{t\to 0}\frac{f(X+tV)-f(X)-t<G,V>}{t}=0$
   • $G,V\in R^{m\times n}$

2.3自动微分

1. 链式法则