第一章 矩阵与线性方程组（十一）

1.向量的内积与范数

根据元素取值方式的不同，向量分为常数向量、函数向量和随机向量。

• 常数向量是元素为常数的向量
• 函数向量是元素取某个变量的函数值的向量
• 随机向量是元素为随机变量的向量。
  虽然常数向量、函数向量和随机向量的内积定义公式有所不同，但是无论向量取何种形式，向量的内积和范数都必须服从一定的公理。
  由于实向量是复向量的特例，下面以复向量作为讨论对象，并用$R$和$C$分别代表实数域和复数域。

令$V$是复向量空间。
函数$<x,y>:V\ast V\to C$称为向量$x$与$y$的内积，若对所有$x,y,z\in V$，以下内积公理满足:
(1)$<x,x>\ge 0$ (非负性)
(1a)$<x,x>=0$，当且仅当$x=0$ (正性)
(2)$<x+y,z>=<x,z>+<y,z>$ (可加性)
(3)$<cx,y>=c\ast <x,y>$，对所有复常数c成立 (齐次性)
(4)$<x,y>=<y,x>\ast$ (Hermitian性)
式中，*表示复数共轭。

令V是复向量空间。
函数$||x||:V\to R$称为向量$x$的范数，若对所有 $x,y\in V$，下面的范数公理成立:
(1)$||x||\ge 0$ (非负性)
(1a)$||x||=0$，当且仅当$x=0$ (正性)
(2)$||cx||=|c|||x||$，对所有复常数c成立 (齐次性)
(3)$||x+y||\le ||x||+||y||$ (三角不等式)
上述公理是平面上的Euclidean长度的熟知性质。满足公理(1)，(2)，(3)，但不一定满足公理(1a)的函数称为向量的半范数。

2.常数向量的内积与范数

两个$mxI$维常数向量$x=[x_1,x_2,\dots ,x_m{]}^T$和$y=[y_1,y_2,\dots ,y_m{]}^T$的内积(或叫点积)定义为
$$<x,y>=x^{H}y=\sum _{i=1}^m{x}_i^{\ast }{y}_i$$
两个向量之间的夹角定义为

显然，若$x^{H}y=0$，则$\theta =\pi /2$。此时，称常数向量$x$和$y$正交。因此，两个常数向量正交的数学定义如下。

两个常数向量称为正交，若它们的内积等于零，即$x^{H}y=0$，并记作 $x\perp y$.
根据定义知，零向量$0$与同一空间的任何向量都正交。

• 序列$exp(j2\pi fm)$是一个以单位时间间隔被采样的频率为$f$的正弦波。复正弦波向量$e_m(f)$定义为$(m+1)x1$向量，即
  
  这样一来，$N$个数据样本$x(n)，n=0,1,\cdot \cdot \cdot ，N-1$的离散Fourer变换(DFT)就可以用向量的内积表示为
  
  其中，$x=[x(0),x(1),\dots ,x(N-1){]}^T$常称为数据向量。

• 几种常用的向量范数
  (1)$l_1$范数
  
  上述范数有时也叫和范数或$1$范数。
  (2)$l_2$范数
  $$||x|{|}_2=(|x_1{|}^2+|x_2{|}^2+\dots +|x_n{|}^2{)}^{1/2}$$
  这一范数常称Euclidean范数，有时也称Frobenius范数。
  (3)$l_{\infty }$范数
  $$||x|{|}_{\infty }=max(|x_1|,|x_2|,\cdot \cdot \cdot ,|x_n|)$$
  也称无穷范数或极大范数。
  (4)$l_p$范数
  $$||x_p||=(\sum _{i=1}^m|x_i{|}^p{)}^{1/p},p\ge 1$$
  $l_p$范数也叫 Hölder 范数
  当p=2时，$l_p$范数与Euclidean范数完全等价。
  另外，无穷范数是$l_p$范数的极限形式，即有
  
  范数||x||称为酉不变的，若$||Ux||=||x||$对所有向量$x\in C^m$和所有酉矩阵$U\in C^{mxm}$恒成立。

• Euclidean范数$$||\cdot ||$$是酉不变的。
  假定向量$x$和$y$有共同的起点(即原点$O$)，它们的端点分别为$x$和$y$，则$||x-y|{|}_2$度量两个向量$x,y$两端点x,y之间的标准Euclidean距离。
  特别地，非负的标量$<x,x{>}^{1/2}$称为向量$x$的Euclidean长度。Euclidean长度为1的向量叫做归一化(或标准化)向量。对于任何不为零的向量$x\in C^m$，向量$x/<x,x{>}^{1/2}$都是归一化的，并且它与$x$同方向。

• Euclidean范数是应用最为广泛的向量范数定义。在本书后面的讨论中，如无特别声明，向量范数均指 Euclidean范数。
  常数向量$w$和$v$的外积(乂叫叉积)记作$w{v}^H$，定义为