引言

回顾：一维高斯分布

在使用极大似然估计计算高斯分布最优参数一节中介绍了一维高斯分布。具体表示如下：
$$x\sim \mathcal{N}(\mu ,{\sigma }^2)=\frac{1}{\sqrt{2\pi }\sigma }{e}^{-\frac{(x-\mu {)}^2}{2{\sigma }^2}}$$

其中$x,\mu ,\sigma$均属于一维矩阵，即标量。

多维高斯分布

多维高斯分布与一维高斯分布的明显区别是：随机变量$x$，期望$\mu$以多维向量的形式出现，方差以多维矩阵的形式出现(方阵)。
随机变量定义：
数据集合$\mathcal{X}$包含$N$个样本：
X = { x ( 1 ) , x ( 2 ) , ⋯   , x ( N ) } \mathcal X = \{x^{(1)},x^{(2)},\cdots,x^{(N)}\} X={x(1),x(2),⋯,x(N)}
其中，$\mathcal{X}$中 任意样本 x ( i ) ( i ∈ { 1 , 2 , ⋯   , N } ) x^{(i)}(i \in \{1,2,\cdots,N\}) x(i)(i∈{1,2,⋯,N})均属于$p$维随机变量，记作$x\in {\mathbb{R}}^p$；
以样本$x^{(i)}$为例，其向量表示如下：
$$x^{(i)}=(x_1^{(i)},x_2^{(i)},\cdots ,x_p^{(i)}{)}^T$$
期望$\mu$同样属于$p$维随机变量。每一维度值表示数据集合中所有样本对应该维度值的期望结果。$\mu$的向量表示如下：
$$\mu =({\mu }_1,{\mu }_2,\cdots ,{\mu }_p)$$

$\Sigma$表示协方差矩阵。它的定义表示如下：
$x$表示‘宏观意义’上的样本;任意样本。
$$\Sigma =\mathbb{E}[(x-\mu )(x-\mu {)}^T]$$
由于多维高斯分布中$x,\mu$均为$p$维向量。因此，将$x=(x_1,x_2,\cdots ,x_p),\mu =({\mu }_1,{\mu }_2,\cdots ,{\mu }_p)$带入上式：
Σ = E [ ( x 1 − μ 1 ) 2 , ( x 1 − μ 1 ) ( x 2 − μ 2 ) , ⋯   , ( x 1 − μ 1 ) ( x p − μ p ) ( x 2 − μ 2 ) ( x 1 − μ 1 ) , ( x 2 − μ 2 ) 2 , ⋯   , ( x 2 − μ 2 ) ( x p − μ p ) ⋮ ( x p − μ p ) ( x 1 − μ 1 ) , ( x p − μ p ) ( x 2 − μ 2 ) , ⋯   , ( x p − μ p ) 2 ] = ( σ 11 , σ 12 , ⋯   , σ 1 p σ 21 , σ 22 , ⋯   , σ 2 p ⋮ σ p 1 , σ p 2 , ⋯   , σ p p ) p × p \Sigma = \mathbb E

= _{p \times p} Σ=E⎣ ⎡​(x1​−μ1​)2,(x1​−μ1​)(x2​−μ2​),⋯,(x1​−μ1​)(xp​−μp​)(x2​−μ2​)(x1​−μ1​),(x2​−μ2​)2,⋯,(x2​−μ2​)(xp​−μp​)⋮(xp​−μp​)(x1​−μ1​),(xp​−μp​)(x2​−μ2​),⋯,(xp​−μp​)2​⎦ ⎤​=⎝ ⎛​σ11​,σ12​,⋯,σ1p​σ21​,σ22​,⋯,σ2p​⋮σp1​,σp2​,⋯,σpp​​⎠ ⎞​p×p​
观察上述矩阵，发现${\sigma }_{ij}={\sigma }_{ji}=\mathbb{E}[(x_i-{\mu }_i)(x_j-{\mu }_j)]$。因此，协方差矩阵$\Sigma$是 实对称矩阵。并且${\sigma }_{ii}=(x_i-{\mu }_i{)}^2\ge 0(i=1,2,\cdots ,p)$恒成立。因此$\Sigma$至少是半正定矩阵。
不排除${\sigma }_{ii}=0$的情况发生，因此这个协方差矩阵不一定是‘正定矩阵’。但在推导过程中暂时设定为‘正定矩阵’。

多维高斯分布的概率密度函数表示如下：
从‘概率模型’角度将高斯分布表示为$P(x\mid \mu ,\Sigma )$
$$x\sim \mathcal{N}(\mu ,\Sigma )=P(x\mid \mu ,\Sigma )=\frac{1}{(2\pi {)}^{\frac{p}{2}}\cdot |\Sigma {|}^{\frac{1}{2}}}{e}^{-\frac{1}{2}(x-\mu {)}^T{\Sigma }^{-1}(x-\mu )}$$
其中，$|\Sigma |$表示协方差矩阵的行列式结果；${\Sigma }^{-1}$表示协方差矩阵的逆矩阵。

观察：如果将$x$看作自变量/需要求解的量，$\mu ,\Sigma$看作多维高斯分布$\mathcal{N}(\mu ,\Sigma )$的参数，则整个概率密度函数公式中和$x$有关的部分只有：
$$(x-\mu {)}^T{\Sigma }^{-1}(x-\mu )$$
首先观察它的维度：$(x-\mu )$是 $p\times 1$维向量，$(x-\mu {)}^T$自然是 $1\times p$维向量；协方差矩阵的逆不改变维度：${\Sigma }^{-1}\to p\times p$；因此，$(x-\mu {)}^T{\Sigma }^{-1}(x-\mu )$本质上是一个一维矩阵，是个标量，是一个具体数值。

这里引进一个概念：马氏距离(Mahalanobis distance)。它描述的是两个向量(高维空间内两个数据点)之间的距离描述。马氏距离传送门
例如$p$维空间的两个数据点：
$$\begin{gathered} x=(x_1,x_2,\cdots ,x_p{)}^T \\ y=(y_1,y_2,\cdots ,y_p{)}^T \end{gathered}$$
它们的马氏距离表示如下：
$$D_M(x,y)=\sqrt{(x-y{)}^T{\Sigma }^{-1}(x-y)}$$

在这里可以将$(x-\mu {)}^T{\Sigma }^{-1}(x-\mu )$视作样本点$x$与样本均值向量$\mu$之间的马氏距离。

如果${\Sigma }^{-1}$是单位矩阵，马氏距离将退化为欧式距离(Euclidean Distance)

假设协方差矩阵是正定矩阵，对协方差矩阵进行特征值分解：
如果协方差矩阵是一般情况下的‘半正定’，那么$\Sigma$自然是不能求逆的，${\Sigma }^{-1}$是不存在的。
$$\Sigma =U\Lambda U^T$$
根据特征值分解定义，$U$是一个正交矩阵，即：
$$U{U}^T=U^{T}U=I$$
其中$I$表示单位向量，$U,I$矩阵格式均为$p\times p$。将正交矩阵$U$定义为$(u_1,u_2,\cdots ,u_p)$；其中$u_i(i=1,2,\cdots ,p)$看作$p\times 1$维向量。
$\Lambda$表示特征值向量，对角线上元素为$\Sigma$矩阵的特征值。
根据上式则有：
Σ = U Λ U T = ( u 1 , u 2 , ⋯   , u p ) ( λ 0 , 0 , ⋯   , 0 0 , λ 1 , ⋯   , 0 ⋮ 0 , 0 , ⋯   , λ p ) ( u 1 T u 2 T ⋮ u p T ) = ( u 1 λ 1 , u 2 λ 2 , ⋯   , u p λ p ) ( u 1 T u 2 T ⋮ u p T ) = u 1 λ 1 u 1 T + u 2 λ 2 u 2 T + ⋯ + u p λ p u p T

Σ​=UΛUT=(u1​,u2​,⋯,up​)⎝ ⎛​λ0​,0,⋯,00,λ1​,⋯,0⋮0,0,⋯,λp​​⎠ ⎞​⎝ ⎛​u1T​u2T​⋮upT​​⎠ ⎞​=(u1​λ1​,u2​λ2​,⋯,up​λp​)⎝ ⎛​u1T​u2T​⋮upT​​⎠ ⎞​=u1​λ1​u1T​+u2​λ2​u2T​+⋯+up​λp​upT​​
由于${\lambda }_1,{\lambda }_2,\cdots ,{\lambda }_p$是特征值，是常数，因此可以提到前面，$u_i{u}_i^T$结果是$p\times p$的方阵；
$$\Sigma =\sum _{i=1}^p{\lambda }_i{u}_i{u}_i^T$$
基于上式，通过$\Sigma$求解${\Sigma }^{-1}$：
正交阵的性质，正交阵的转置等于该正交阵的逆。即：$U^T=U^{-1}$
Σ − 1 = ( U Λ U T ) − 1 = ( U T ) − 1 Λ − 1 U − 1 = U Λ − 1 U T = ∑ i = 1 p 1 λ i u i u i T

Σ−1=(UΛUT)−1=(UT)−1Λ−1U−1=UΛ−1UT=∑i=1p1λiuiuiT" role="presentation" style="position: relative;">Σ−1=(UΛUT)−1=(UT)−1Λ−1U−1=UΛ−1UT=∑i=1p1λiuiuTi$$\begin{array}{rl}{\mathrm{\Sigma }}^{-1}& =(U\mathrm{\Lambda }{U}^T{)}^{-1}\\ & =(U^T{)}^{-1}{\mathrm{\Lambda }}^{-1}{U}^{-1}\\ & =U{\mathrm{\Lambda }}^{-1}{U}^T\\ & =\sum _{i=1}^p\frac{1}{{\lambda }_i}{u}_i{u}_i^T\end{array}$$

Σ−1​=(UΛUT)−1=(UT)−1Λ−1U−1=UΛ−1UT=i=1∑p​λi​1​ui​uiT​​
将${\Sigma }^{-1}$带入$(x-\mu {)}^T{\Sigma }^{-1}(x-\mu )$，则有：
( x − μ ) T Σ − 1 ( x − μ ) = ( x − μ ) T ∑ i = 1 p 1 λ i u i u i T ( x − μ )

(x−μ)TΣ−1(x−μ)=(x−μ)T∑i=1p1λiuiuiT(x−μ)" role="presentation" style="position: relative;">(x−μ)TΣ−1(x−μ)=(x−μ)T∑i=1p1λiuiuTi(x−μ)$$\begin{array}{rl}(x-\mu {)}^T{\mathrm{\Sigma }}^{-1}(x-\mu )& =(x-\mu {)}^T\sum _{i=1}^p\frac{1}{{\lambda }_i}{u}_i{u}_i^T(x-\mu )\end{array}$$

(x−μ)TΣ−1(x−μ)​=(x−μ)Ti=1∑p​λi​1​ui​uiT​(x−μ)​

观察，$(x-\mu {)}^T$是$1\times p$的向量；${\sum }_{i=1}^p\frac{1}{{\lambda }_i}{u}_i{u}_i^T$是$p\times p$维向量；$(x-\mu )$是$p\times 1$维向量。
因此，$(x-\mu {)}^T{\sum }_{i=1}^p\frac{1}{{\lambda }_i}{u}_i{u}_i^T(x-\mu )$仍然是一个标量、一个数值。
将$(x-\mu {)}^T,(x-\mu )$两个向量看成整体，不执行任何拆分，将${\sum }_{i=1}^p\frac{1}{{\lambda }_i}$提出来：
$$\sum _{i=1}^p\frac{1}{{\lambda }_i}(x-\mu {)}^T{u}_i{u}_i^T(x-\mu )$$
令向量 k = ( k 1 k 2 ⋮ k p ) p × 1 k =

_{p \times 1} k=⎝ ⎛​k1​k2​⋮kp​​⎠ ⎞​p×1​，$k_i(i=1,2,\cdots ,p)=(x-\mu {)}^T{u}_i$

上式可转化为：
$$\sum _{i=1}^p\frac{1}{{\lambda }_i}{k}_i{k}_i^T$$

由于$k$的定义，因此，$k_i(i=1,2,\cdots ,p)$是标量、数值。即：
$$k_i^T=k_i$$
则有：
$$(x-\mu {)}^T{\Sigma }^{-1}(x-\mu )=\sum _{i=1}^p\frac{1}{{\lambda }_i}{k}_i{k}_i^T=\sum _{i=1}^p\frac{k_i^2}{{\lambda }_i}(i=1,2,\cdots ,p)$$

将上述结果展开：
$$\sum _{i=1}^p\frac{k_i^2}{{\lambda }_i}=\frac{k_1^2}{{\lambda }_1}+\frac{k_2^2}{{\lambda }_2}+\cdots +\frac{k_p^2}{{\lambda }_p}$$

如果给定上述结果一个具体的值：$\Delta$
则有：
k 1 2 λ 1 + k 2 2 λ 2 + ⋯ + k p 2 λ p = Δ 1 Δ ( k 1 2 λ 1 + k 2 2 λ 2 + ⋯ + k p 2 λ p ) = 1 k 1 2 Δ λ 1 + k 2 2 Δ λ 2 + ⋯ + k p 2 Δ λ p = 1

λ1​k12​​+λ2​k22​​+⋯+λp​kp2​​=ΔΔ1​(λ1​k12​​+λ2​k22​​+⋯+λp​kp2​​)=1Δλ1​k12​​+Δλ2​k22​​+⋯+Δλp​kp2​​=1​
它就是一个超椭圆形的标准方程。
令$p=2$：
$$\frac{k_1^2}{\Delta {\lambda }_1}+\frac{k_2^2}{\Delta {\lambda }_2}=1$$

它就是一个椭圆的标准方程，其中$a=\sqrt{\Delta {\lambda }_1},b=\sqrt{\Delta {\lambda }_2}$

至此，基于马氏距离$(x-\mu {)}^T{\Sigma }^{-1}(x-\mu )$，它执行一次坐标系的映射：

• 原始$p$维坐标系$x_i(i=1,2,\cdots ,p)$;
• 经过一系列变换：$k_i=(x-\mu {)}^T{u}_i$
  将$x$坐标系先通过平移$\mu$个长度后，再映射到$u$坐标系中(矩阵乘法的特点)
• $k_i$表示在样本$x$在$u$坐标系中的映射结果。
• 而马氏距离$(x-\mu {)}^T{\Sigma }^{-1}(x-\mu )$可理解为在$x$映射到$k$之后，构建一个椭圆，而椭圆上的值就是马氏距离的结果。
  
  上述表示$i=2$时的高斯分布图像，由于$x$只和$(x-\mu {)}^T{\Sigma }^{-1}(x-\mu )$相关，和表示概率的$\frac{1}{(2\pi {)}^{\frac{p}{2}}\cdot |\Sigma {|}^{\frac{1}{2}}}$无关。

但是概率和$\Delta$相关，基于上述标准方程，椭圆的长轴和短轴长度分别是$\sqrt{\Delta {\lambda }_1},\sqrt{\Delta {\lambda }_2}$；选择的$\Delta$值直接影响椭圆的大小，从而影响获取横截面的位置。

因此，当概率被确定时，以上述图为例，在$z$轴对应概率值位置进行横切，而横切得到的横截面必然是椭圆形截面。而$(x-\mu {)}^T{\Sigma }^{-1}(x-\mu )$表示椭圆形上的点。

总结

• 矩阵乘法——将当前变量的坐标系映射到其他坐标系中；
  在后续的线性判别分析中加深印象;
• 将$x$参考系被映射到新的参考系中，并将马氏距离映射为标准的超椭圆方程。

相关参考：
机器学习-白板推导系列(二)-数学基础