方差、协方差的几何理解

作者：非妃是公主
专栏：《数学建模》
个性签：顺境不惰，逆境不馁，以心制境，万事可成。——曾国藩

在统计描述中，方差用来计算每一个变量（观察值）与总体均数之间的差异。为避免出现离均差总和为零，离均差平方和受样本含量的影响，统计学采用平均离均差平方和来描述变量的变异程度。总体方差计算公式：
$${\sigma }^2=\frac{\sum (x-\mu {)}^2}{N}$$
其中，x表示样本数据，一个维度为1的数值，$\mu$表示样本的均值，N是样本的个数，即有多少个。
实际工作中，总体均数难以得到时，应用样本统计量代替总体参数，经校正后，样本方差计算公式（即：概率论中的无偏估计）：
$${\sigma }^2=\frac{\sum (x-\mu {)}^2}{N-1}$$
方差刻画了随机变量的取值对于其数学期望的离散程度。
我们可以明显地看出：
若X的取值比较集中，都集中在$\mu$附近，则$x-\mu$较小，分子较小，方差较小；
若X的取值比较分散，则$x-\mu$较大，分子较大方差较大。
因此，方差是刻画取值分散程度的一个量，它是衡量取值分散程度的一个尺度。

然后我们来看一下协方差，协方差是方差的一种推广，是对多维数据来讲的，变量x与变量y协方差用下面公式来表示：
C o v ( x , y ) = E ( ( X − E ( X ) ) ( Y − E ( Y ) ) ) = E ( X Y − X E ( Y ) − Y E ( X ) + E ( X ) E ( Y ) ) = E ( X Y ) − E ( X ) E ( Y )

Cov(x,y)​=E((X−E(X))(Y−E(Y)))=E(XY−XE(Y)−YE(X)+E(X)E(Y))=E(XY)−E(X)E(Y)​
从原始公式来看：
如果X与Y正相关，那么当X比均值大时，Y也应该比均值大，这样$(X-E(X))(Y-E(Y))$为正，协方差为正；
如果X与Y负相关，那么当X比均值大时，Y也应该比均值小，这样$(X-E(X))(Y-E(Y))$为负，协方差为负；
如果X与Y不相关，那么当X比均值大时，Y也可能比均值大，也可能比均值小，这样理想情况下$(X-E(X))(Y-E(Y))$为0，协方差为0；
两个多维变量各位度之间的协方差排列组合矩阵也被称为协方差矩阵，定义如下：
分别为$m$与$n$个标量元素的列向量随机变量$X$与$Y$，这两个变量之间的协方差定义为$m\times n$矩阵.其中X包含变量$X1.X\mathrm{2......}Xm$，Y包含变量$Y1.Y\mathrm{2......}Yn$，假设$X1$的期望值为$\mu 1$，$Y2$的期望值为$v2$，那么在协方差矩阵中（1,2）的元素就是$X1$和$Y2$的协方差。
容易发现，两个向量变量的协方差Cov(X,Y)与Cov(Y,X)相等，所以协方差矩阵为对称矩阵。
因此协方差常用来衡量两个变量的独立性。