第一章 矩阵与线性方程组（十二）

1.函数向量的内积与范数

若$x(t)$和$y(t)$分别是变量$t$的函数向量，则它们的内积定义为

其中，变量t在[a，b]取值，且a<b。变量t可以是时间变量、频率变量或者空间变量。
两个函数向量的夹角定义为

式中，$||x(t)||$是函数向量$x(t)$的范数，定义为

显然，若两个函数向量的内积等于零，即

则$\theta =\pi /2$。此时，称两个函数向量正交，并记作$x(t)\perp y(t)$。

2.随机向量的内积与范数

若$x(\xi )$和$y(\xi )$分别是样本变量ξ的随机向量，则它们的内积定义为

其中，样本变量$\xi$可以是时间t、圆频率f、角频率w和空间变量s等。
随机向量$x(\xi )$的范数定义为

与常数向量和函数向量的情况不同，mx1随机向量$x(\xi )$和nx1随机向量$y(\xi )$称为正交
若$x(\xi )$的任意元素与$y(\xi )$的任意元素正交。这意味着，两个向量的互相关矩阵为零矩阵$O_{mxn}$，即
$$Ex(\xi ){у}^H(\xi )=O_{mxn}$$
并记作$x(\xi )\perp y(\xi )$。

• 任意两个正交向量之和的范数平方等于各个向量范数平方之和。
  命题 若$x\perp y$，则$||x+y|{|}^2=||x|{|}^2+||y|{|}^2$。
  证明 由范数公理知
  $$||x+y|{|}^2=<x+y,x+y>=<x,x>+<x,y>+<y,x>+<y,y>$$
  由于$x$和$y$正交，所以$<x,y>=E{x}^{T}y=0$。又由内积公理知$<y,x>=<x,y>=0$。
  将这一结果代入上式得
  $$||x+у|{|}^2=<x,x>+<y,y>=||x|{|}^2+||y|{|}^2$$
  命题得证。
  这一命题也称Pythagorean定理。

命题 $|<x,y>|\le ||x||||y||$，等号成立当且仅当$x=\lambda y$或$x=0$或$y=0$.
证明 由内积的非负性知$<x-\lambda y,x-\lambda y>\ge 0$，其中，$\lambda \ne 0$为一标量。注意到
$$(x-\lambda y，x-\lambda y)=<x,x>-\lambda <y,x>-\lambda <x,y>+{\lambda }^2<y,y>$$
选择$\lambda =<x,y>/||y|{|}^2$，则上式变为
$$<x-\lambda y，x-\lambda y>=<x,x>-|<x,x{>}^2/||y|{|}^2=<x,x>-|<x,y>{|}^2/<y,y>\ge 0$$
由此得$|<x,y>\le ||x||||y||$。
显然，当$x=\lambda y$或$x=0$或$y=0$时，不等式取等号。
不等式$|<x,y>|\le ||x||||y||$称为Cauchy-Schwartz不等式。

命题 $||x+y|{|}^2+||x-y|{|}^2=2||x|{|}^2+2||y|{|}^2$称为平行四边形法则。
证明 具体计算范数，得
$$||x+y|{|}^2=<x+y,x+y>=<x,x>+2<x,y>+<y,y>$$
$$||x-y|{|}^2=<x-y,x+y>=<x,x>-2<x,y)+<y,y>$$
两式相加，即有
$$||x+y|{|}^2+||x-y|{|}^2=2<x,x>+2<y,y>=2(||x|{|}^2+||y|{|}^2)$$

• 若$n\to \infty$时，有$||x_n-x||\to 0$，则称$x_n$收敛为$x$.
  下面的命题表明，范数具有连续性。
  命题 若$x_n\to x$和$y_n\to y$，则$<x_n,y_n>\to <x,y>$。
  证明 若$x_n\to x$和$y_n\to y$，则$x_n$和$y_n$必然是有界的向量，即$||x_n||\le m_1$和 $||y_n||\le m_2||，且$||x_n-x||→0,||y_n-y||→0&当$n\to \infty$。
  考查
  
  然而，上式右边前三项分别为
  
  将以上公式代入即知:当$n\to \infty$时，$<x_n,y_n>\to <x,y>$。

3.对常数向量、函数向量和随机向量的正交的归纳与总结

(1)数学定义:两个向量x和y正交，若它们的内积等于零，即$<x,y>=0$(对常数向量和函数向量)，或者它们的外积的数学期望等于零矩阵，即$Ex{y}^H=0$(对随机向量)。
(2)几何解释:若两个向量正交，则这两个向量之间的夹角为90，并且一个向量到另一个向量的投影等于零。
(3)物理意义:当两个向量正交时，一个向量中将不含另一个向量的任何成分，即这两个向量之间不存在任何相互作用或干扰。