第一章 矩阵与线性方程组（九）

1、两个随机向量的统计不相关与正交

• 当采样点$\xi$取一系列值时，随机变量序列$x_i(\xi )$构成一随机过程或信号
• 由于随机信号减去自己的均值后，只剩下随机变化部分，所以协方差函数给出的是两个随机信号$x_i(\xi )$和$x_j(\xi )$之间随机变化部分的相乘。
• 两个随机信号的随机变化部分中的共性部分的相乘总是取相同的符号，使得共性部分得到加强，而保留下来
• 两个信号的非共性部分则是随机的，它们的乘积有时取正，有时取负，通过数学期望的平均运算后，趋干相互抵消。
• 互协方差函数能够把两个信号之间随机变化的共性部分提取出来，并抑制掉非共性部分。
• 互协方差函数描述了两个信号$x_i(\xi )$和 $x_j(\xi )$之间的相关(联)程度。即是说，互协方差函数越大，则这两个随机信号的相关程度越强;反之，相关程度越弱。但是，这种使用互协方差的绝对大小度量两个随机向量的相关程度并不方便。
  两个随机变量$x(\xi )$和$y(\xi )$之间的相关系数定义为
  
  式中，$c_{xy}$是随机变量$x(\xi )$和$y(\xi )$之间的互协方差，而${\sigma }_x^2$和${\sigma }_y^2$分别是$x(\xi )$和$y(\xi )$的方差。对相关系数的定义公式使用Cauchy-Schwartz不等式，易知
  $$0\le |P_{xy}|\le 1$$

相关系数${\rho }_{xy}$给出了两个随机变量$x(\xi )$和$y(\xi )$之间的相似程度的度量：${\rho }_{xy}$越接近于零，随机变量${\rho }_{xy}$的相似度越弱;
反之，若越接近于1，则$x(\xi )$和$y(\xi )$的相似度越大。
特别地，相关系数的两个极端值0和1有着重要的意义。
由于${\rho }_{xy}=0$意味着互协方差$C_{xy}=0$，这表明随机变量$x(\xi )$和$y(\xi )$之间不存在任何相关部分。因此，若${\rho }_{xy}=0$，则称随机变量$x(\xi )$和$y(\xi )$不相关。
鉴丁这种不相关是在统计意义下定义的，所以常称之为统计不相关，以区别其他形式的不相关(如线性无关等)。

• 若$x(\xi )=cy(\xi )$，其中，$c$为一复常数，则$|{\rho }_{xy}|=1$。

• 满足条件$x(\xi )=cy(\xi )=|c|e^{j\varphi (c)}$的随机变量$x(\xi )$和$y(\xi )$只是相差一个固定的幅值比例因子和一个固定的相位$\varphi (c)$。这样的两个随机变量称为完全相关(或相干)。

• 将两个随机变量之间的不相关条件$c_{xy}=0,i\ne j$推广到随机向量$x(\xi )$和$y(\xi )$的任意两个元素之间，则知当$c_{x_i{y}_j}=0$对所有$i,j$恒成立时，随机向量$x(\xi )$的任何元素都与随机向量$y(\xi )$的任何元素不相关。此时，称随机变量$x(\xi )$和$y(\xi )$不相关。
  随机向量的统计不相关定义为：
  两个随机向量$x(\xi )$和$y(\xi )$统计不相关，若它们的互协方差矩阵等干零矩阵，即$C_{xy}=0$。
  两个随机变量$x(\xi )$和$y(\xi )$称为正交，若它们的互相关等于零，即
  $$r_{xу}=Ex(\xi )y^{\ast }(\xi )=0$$

• 类似地，两个随机向量$x(\xi )=[x_1(\xi ),x_2(\xi ),\dots ,x_m(\xi ){]}^T$和$y(\xi )=[y_1(\xi ),y_2(\xi ),\dots ,y_n(\xi ){]}^T$称为正交，若$x(\xi )$的任一元素$x_i(\xi )$与随机向量$y(\xi )$的任意元素$y_j(\xi )$正交，即$r_{x_i{y}_j}=E{x}_i(\xi )y_j(\xi )=0，\forall i,j$。显然，这意味着这两个随机向量的互相关矩阵等于零矩阵，即有$R_{xy}=O$。
  两个随机向量x(ξ)与y(ξ)正交:
  若它们的互相关矩阵等于零矩阵，即$R_{xy}=O$。

2.随机向量的线性变换

令$A$为一复常数矩阵，则
$$y(\xi )=Ax(\xi )$$
是复正态随机向量$x(\xi )CN({\mu }_x,{Г}_x)$的线性变换。
线性变换$y(\xi )=Ax(\xi )$仍然为正态随机向量，记作$y(\xi )CN({\mu }_y,{Г}_y)$。容易验证，其均值向量
$${\mu }_{у}=Ey(\xi )=EAx(\xi )=AEx(\xi )=A{\mu }_x$$
自相关矩阵为
$$R_y=Ey(\xi )y^H(\xi )=EAx(\xi )x^H(\xi )A^H$$
$$=AEx(\xi )x^H(\xi )A^H=A{R}_x{A}^H$$
自协方差矩阵为
$$C_y=A{C}_x{A}^H$$
随机向量$x(\xi )$与线性变换$y(\xi )=Ax(\xi )$的互相关矩阵为
$$R_{xy}=Ex(\xi ){у}^H(\xi )=Ex(\xi )x^H(\xi )A^H$$
$$=Ex(\xi )x^H(\xi )A^H=R_x{A}^H$$
于是
$$R_{yx}=R_{xy}^H=(R_x{A}^H{)}^H=A{R}_x$$
式中，利用了自协方差矩阵的共轭对称性$$R_x^H=R_x$$。
类似地，随机向量$x(\xi )$与其线性变换$y(\xi )=Ax(\xi )$之间的互协方差矩阵
$$C_{xy}=C_x{A}^H,C_{yx}=A{C}_x$$