机器学习笔记之高斯分布(四)关于高斯分布的推断问题

引言

本节将介绍高斯分布相关的推断问题。

回顾

推断任务介绍

在概率图模型——推断任务介绍中提到推断的本质就是求解变量的概率。已知随机变量集合$\mathcal{X}$的变量表示如下：
$$\mathcal{X}=(x_1,x_2,\cdots ,x_p{)}^T$$

• 给定联合概率分布$\mathcal{P}(\mathcal{X})$的条件下，求解某一维度$x_i(i=1,2,\cdots ,p)$的边缘概率分布$\mathcal{P}(x_i)$：
  $$\begin{array}{rl}\mathcal{P}(x_i)& =\sum _{x_1,\cdots ,x_{i-1}}\sum _{x_{i+1},\cdots ,x_p}\mathcal{P}(\mathcal{X})\\ & =\sum _{x_1,\cdots ,x_{i-1}}\sum _{x_{i+1},\cdots ,x_p}\mathcal{P}(x_1,\cdots ,x_p)\end{array}$$
• 假设$\mathcal{X}$可分为两个子集${\mathcal{X}}_{\mathcal{A}},{\mathcal{X}}_{\mathcal{B}}$，并且子集之间满足如下关系：
  $$\{\begin{array}{l}{\mathcal{X}}_{\mathcal{A}}\cap {\mathcal{X}}_{\mathcal{B}}=\varphi \\ {\mathcal{X}}_{\mathcal{A}}\cup {\mathcal{X}}_{\mathcal{B}}=\mathcal{X}\end{array}$$
  给定联合概率分布$\mathcal{P}(\mathcal{X})$的条件下，求解集合间的条件概率分布：
  $$\text{Given }\mathcal{P}(\mathcal{X})\Rightarrow \mathcal{P}({\mathcal{X}}_{\mathcal{A}}\mid {\mathcal{X}}_{\mathcal{B}})$$
• 最大后验概率推断(MAP Inference)，给定联合概率分布，求解某变量的边际概率分布。常用于解码(Decoding)任务中。
  这里不过多赘述，具体详见隐马尔可夫模型——解码问题

概率分布与概率模型

在该系列第一篇文章极大似然估计与最大后验概率估计中，就已经介绍了概率分布和概率模型之间可以看作相同的事物。已知样本集合$\mathcal{X}$：

• 概率分布$\mathcal{P}(\mathcal{X})$表示样本集合$\mathcal{X}$取值的概率规律；
• 概率模型表示在概率分布$\mathcal{P}(\mathcal{X})$下，通过模型参数采样出若干样本，这些样本组成样本集合$\mathcal{X}$。

从采样的角度观察，概率模型中的样本数量是无穷大的，是采不完的；从模型估计的角度观察，除非概率模型极为简单，否则极难得到概率模型的精确解，只能通过有限的样本对概率模型进行估计。

高斯分布(Gaussian Distribution)，它既是概率分布，也是概率模型。本节将对高斯分布概率模型的条件概率分布、边缘概率分布进行推断。
在概率图模型中，特别是动态模型中，包含关于高斯分布的条件概率推断过程。如卡尔曼滤波(线性高斯模型),以及未来要介绍的[高斯网络]这里挖一个坑，后续来补~

高斯分布推断任务

场景构建

样本集合$\mathcal{X}$是包含$p$维随机变量的随机变量集合，并且$\mathcal{X}$服从$p$维高斯分布：
X ∼ N ( μ , Σ ) = 1 ( 2 π ) p 2 ∣ Σ ∣ 1 2 exp ⁡ [ − 1 2 ( x − μ ) T Σ − 1 ( x − μ ) ] X ∈ R p , Random Variable X∼N(μ,Σ)=1(2π)p2|Σ|12exp[−12(x−μ)TΣ−1(x−μ)]X∈Rp,Random Variable

​X∼N(μ,Σ)=(2π)2p​∣Σ∣21​1​exp[−21​(x−μ)TΣ−1(x−μ)]X∈Rp,Random Variable​
其中随机变量集合$\mathcal{X}$，均值$\mu$，协方差矩阵$\Sigma$向量形式表示如下：
$$\mathcal{X}={\left(\begin{array}{c}{x}_1\\ x_2\\ ⋮\\ x_p\end{array}\right)}_{p\times 1}\mu ={\left(\begin{array}{c}{\mu }_1\\ {\mu }_2\\ ⋮\\ {\mu }_p\end{array}\right)}_{p\times 1}\Sigma ={\left(\begin{array}{c}{\sigma }_{11},{\sigma }_{12},\cdots ,{\sigma }_{1p}\\ {\sigma }_{21},{\sigma }_{22},\cdots ,{\sigma }_{2p}\\ ⋮\\ {\sigma }_{p1},{\sigma }_{p2},\cdots ,{\sigma }_{pp}\end{array}\right)}_{p\times p}$$

推导任务描述

任务描述：已知一个多维高斯分布，求解它的边缘概率分布和条件概率分布：
给定了概率分布，意味着给定了‘概率模型’。因而这个多维高斯分布中的‘均值’$\mu$,协方差$\Sigma$全部是已知项。
这里将随机变量集合$\mathcal{X}$分成两组：
这里只是将随机变量集合分成两组，并不一定是有序的。
X = ( X a X b ) X a ∈ R m ; X b ∈ R n { X a ∩ X b = ϕ X a ∪ X b = X \mathcal X = (XaXb)

\quad \mathcal X_a \in \mathbb R^m;\mathcal X_b \in \mathbb R^n \quad {Xa∩Xb=ϕXa∪Xb=X X=(Xa​Xb​​)Xa​∈Rm;Xb​∈Rn{Xa​∩Xb​=ϕXa​∪Xb​=X​
同理，$\mu ,\Sigma$同样对其进行划分：
需要注意的点，${\Sigma }_{aa},{\Sigma }_{ab},{\Sigma }_{ba},{\Sigma }_{bb}$中，只有${\Sigma }_{aa},{\Sigma }_{bb}$分别表示${\mathcal{X}}_a,{\mathcal{X}}_b$的协方差矩阵，${\Sigma }_{ab},{\Sigma }_{ba}$表示${\mathcal{X}}_a,{\mathcal{X}}_b$之间的相关性信息，并且${\Sigma }_{ab}^T={\Sigma }_{ba}$.
$$\mu =\left(\begin{array}{c}{\mu }_a\\ {\mu }_b\end{array}\right)\Sigma =\left(\begin{array}{c}{\Sigma }_{aa},{\Sigma }_{ab}\\ {\Sigma }_{ba},{\Sigma }_{bb}\end{array}\right)=\left[\begin{array}{c}Conv({\mathcal{X}}_a,{\mathcal{X}}_a),Conv({\mathcal{X}}_a,{\mathcal{X}}_b)\\ Conv({\mathcal{X}}_b,{\mathcal{X}}_a),Conv({\mathcal{X}}_b,{\mathcal{X}}_b)\end{array}\right]=\left[\begin{array}{c}\mathcal{D}({\mathcal{X}}_a),Conv({\mathcal{X}}_a,{\mathcal{X}}_b)\\ Conv({\mathcal{X}}_b,{\mathcal{X}}_a),\mathcal{D}({\mathcal{X}}_b)\end{array}\right]$$

上述全部是已知项。可以将概率分布$\mathcal{P}(\mathcal{X})$看作关于${\mathcal{X}}_a,{\mathcal{X}}_b$的联合概率分布：
$$\mathcal{P}(\mathcal{X})=\mathcal{P}({\mathcal{X}}_a,{\mathcal{X}}_b)$$
需要求解的量：
$$\mathcal{P}({\mathcal{X}}_a),\mathcal{P}({\mathcal{X}}_b),\mathcal{P}({\mathcal{X}}_b\mid {\mathcal{X}}_a)$$

推导过程

相关定理介绍

已知某随机变量$\mathcal{X}$服从高斯分布，并且随机变量$\mathcal{Y}$与随机变量$\mathcal{X}$之间存在线性关系：
X ∼ N ( μ , Σ ) Y = A X + B X∼N(μ,Σ)Y=AX+B

X∼N(μ,Σ)Y=AX+B​
那么随机变量$\mathcal{Y}$同样服从高斯分布，并且高斯分布表示如下：
$$\mathcal{Y}\sim \mathcal{N}(\mathcal{A}\mu +\mathcal{B},\mathcal{A}\Sigma {\mathcal{A}}^T)$$
并且，关于随机变量$\mathcal{Y}$的期望${\mathbb{E}}_{\mathcal{P}(\mathcal{Y})}[\mathcal{Y}]$与${\mathbb{E}}_{\mathcal{P}(\mathcal{X})}[\mathcal{X}]$之间存在如下关系：
$$\begin{array}{rl}{\mathbb{E}}_{\mathcal{P}(\mathcal{Y})}[\mathcal{Y}]& ={\mathbb{E}}_{\mathcal{P}(\mathcal{X})}[\mathcal{A}\mathcal{X}+\mathcal{B}]\\ & =\mathcal{A}{\mathbb{E}}_{\mathcal{P}(\mathcal{X})}[\mathcal{X}]+\mathcal{B}\\ & =\mathcal{A}\mu +\mathcal{B}\end{array}$$
关于随机变量$\mathcal{Y}$的协方差矩阵$\text{Var}(\mathcal{Y})$和随机变量$\mathcal{X}$的协方差矩阵$\text{Var}(\mathcal{X})$之间存在如下关系：
由于$\mathcal{B}$自身是一个常量，因此$\text{Var}(\mathcal{B})=0$,常数哪来的什么波动~
$$\begin{array}{rl}\text{Var}(\mathcal{Y})& =\text{Var}(\mathcal{A}\mathcal{X}+\mathcal{B})\\ & =\text{Var}(\mathcal{A}\mathcal{X})+\text{Var}(\mathcal{B})\\ & =\text{Var}(\mathcal{A}\mathcal{X})\\ & =\mathcal{A}\Sigma {\mathcal{A}}^T\end{array}$$

边缘概率分布推断

关于随机变量子集合${\mathcal{X}}_a$的边缘概率分布$\mathcal{P}({\mathcal{X}}_a)$，可以将其定义成如下形式：
关于‘边缘概率分布’$\mathcal{P}({\mathcal{X}}_b)$的推导同理，这里仅介绍$\mathcal{P}({\mathcal{X}}_a)$.
基于上述定理，可以假设‘系数矩阵’$\mathcal{A}=({\mathcal{I}}_m,0{)}_{1\times p}$'偏置矩阵'$\mathcal{B}=0$省略。
X a = 1 ⋅ X a + 0 ⋅ X b = ( I m , 0 ) ( X a X b ) I m = ( 1 , 1 , ⋯   , 1 ) ⏟ m 项 = A X Xa=1⋅Xa+0⋅Xb=(Im,0)(XaXb)Im=(1,1,⋯,1)⏟m项=AX

Xa​​=1⋅Xa​+0⋅Xb​=(Im​,0)(Xa​Xb​​)Im​=m项 (1,1,⋯,1)​​=AX​
至此，基于上述定理，${\mathcal{X}}_a$的期望结果${\mathbb{E}}_{\mathcal{P}({\mathcal{X}}_a)}[{\mathcal{X}}_a]$可表示为：
$$\begin{array}{r}{\mathbb{E}}_{\mathcal{P}({\mathcal{X}}_a)}[{\mathcal{X}}_a]=({\mathcal{I}}_m,0)\left(\begin{array}{c}{\mu }_a\\ {\mu }_b\end{array}\right)={\mu }_a\end{array}$$
同理，${\mathcal{X}}_a$的协方差矩阵结果$\text{Var}({\mathcal{X}}_a)$可表示为：
$$\begin{array}{rl}\text{Var}({\mathcal{X}}_a)& =\mathcal{A}\Sigma {\mathcal{A}}^T\\ & =({\mathcal{I}}_m,0)\left(\begin{array}{c}{\Sigma }_{aa},{\Sigma }_{ab}\\ {\Sigma }_{ba},{\Sigma }_{bb}\end{array}\right)\left(\begin{array}{c}{\mathcal{I}}_m\\ 0\end{array}\right)\\ & =({\Sigma }_{aa},{\Sigma }_{ab})\left(\begin{array}{c}{\mathcal{I}}_m\\ 0\end{array}\right)\\ & ={\Sigma }_{aa}\end{array}$$
因此，随机变量子集${\mathcal{X}}_a$的边缘概率分布服从高斯分布，其高斯分布表示为：
$${\mathcal{X}}_a\sim \mathcal{N}({\mu }_a,{\Sigma }_{aa})$$

条件概率分布推断

针对条件概率$\mathcal{P}({\mathcal{X}}_b\mid {\mathcal{X}}_a)$，引入一个量：
构造量本身可能无意义，针对推导的技巧性创造出的量。
与${\mathcal{X}}_b,{\mathcal{X}}_a$相关联的量${\mathcal{X}}_{b.a}$表示如下：

• 注意：${\mathcal{X}}_{b.a}$本质上是${\mathcal{X}}_a,{\mathcal{X}}_b$之间的线性关系，并且下标是有序的。
• 单纯从格式角度观察，${\mathcal{X}}_{b.a}$是一个$n\times 1$向量，和${\mathcal{X}}_b$大小相同。
• 构造${\mathcal{X}}_{b.a}$的动机在于构造${\mathcal{X}}_b$和${\mathcal{X}}_a$之间的关联关系。
  $$\begin{array}{rl}{\mathcal{X}}_{b.a}& ={\mathcal{X}}_b-{\Sigma }_{ba}{\Sigma }_{aa}^{-1}{\mathcal{X}}_a\\ & =(-{\Sigma }_{ba}{\Sigma }_{aa}^{-1},{\mathcal{I}}_p)\left(\begin{array}{c}{\mathcal{X}}_a\\ {\mathcal{X}}_b\end{array}\right)\end{array}$$

如果将${\mathcal{X}}_{b.a}$看作一组随机变量，结合上述定理，我们尝试求解该随机变量的边缘概率分布：

• 这组随机变量的期望${\mathbb{E}}_{\mathcal{P}({\mathcal{X}}_{b.a})}[{\mathcal{X}}_{b.a}]$表示如下：
  使用${\mu }_{b.a}$这个符号表示期望结果。
可以将$(-{\Sigma }_{ba}{\Sigma }_{aa}^{-1},{\mathcal{I}}_p)$看作系数矩阵$\mathcal{A}$.
  $$\begin{array}{rl}{\mathbb{E}}_{\mathcal{P}({\mathcal{X}}_{b.a})}[{\mathcal{X}}_{b.a}]& =\mathcal{A}\mu \\ & =(-{\Sigma }_{ba}{\Sigma }_{aa}^{-1},{\mathcal{I}}_p)\left(\begin{array}{c}{\mu }_a\\ {\mu }_b\end{array}\right)\\ & ={\mu }_b-{\Sigma }_{ba}{\Sigma }_{aa}^{-1}{\mu }_a\\ & ={\mu }_{b.a}\end{array}$$
• ${\mathcal{X}}_{b.a}$的协方差矩阵$\text{Var}({\mathcal{X}}_{b.a})$表示如下：
  根据矩阵逆的定义，${\Sigma }_{aa}^{-1}{\Sigma }_{aa}=\mathcal{E}$,因而${\Sigma }_{ba}-{\Sigma }_{ba}{\Sigma }_{aa}^{-1}{\Sigma }_{aa}=0$
  同理，使用${\Sigma }_{bb.a}$来表示协方差结果。
  $$\begin{array}{rl}\text{Var}({\mathcal{X}}_{b.a})& =\mathcal{A}\Sigma {\mathcal{A}}^T\\ & =(-{\Sigma }_{ba}{\Sigma }_{aa}^{-1},{\mathcal{I}}_p)\left(\begin{array}{c}{\Sigma }_{aa},{\Sigma }_{ab}\\ {\Sigma }_{ba},{\Sigma }_{bb}\end{array}\right)\left(\begin{array}{c}-{\Sigma }_{ba}{\Sigma }_{aa}^{-1}\\ {\mathcal{I}}_p\end{array}\right)\\ & =({\Sigma }_{ba}-{\Sigma }_{ba}{\Sigma }_{aa}^{-1}{\Sigma }_{aa},{\Sigma }_{bb}-{\Sigma }_{ba}{\Sigma }_{aa}^{-1}{\Sigma }_{ab})\left(\begin{array}{c}-{\Sigma }_{ba}{\Sigma }_{aa}^{-1}\\ {\mathcal{I}}_p\end{array}\right)\\ & =(0,{\Sigma }_{bb}-{\Sigma }_{ba}{\Sigma }_{aa}^{-1}{\Sigma }_{ab})\left(\begin{array}{c}-{\Sigma }_{ba}{\Sigma }_{aa}^{-1}\\ {\mathcal{I}}_p\end{array}\right)\\ & ={\Sigma }_{bb}-{\Sigma }_{ba}{\Sigma }_{aa}^{-1}{\Sigma }_{ab}\\ & ={\Sigma }_{bb.a}\end{array}$$

至此，我们得到了${\mathcal{X}}_{b.a},{\mu }_{b.a},{\Sigma }_{bb.a}$，从而可以确定这个引入的变量，它的概率分布：
X b . a ∼ N ( μ b . a , Σ b b . a ) { μ b . a = μ b − Σ b a Σ a a − 1 μ a Σ b b . a = Σ b b − Σ b a Σ a a − 1 Σ a b Xb.a∼N(μb.a,Σbb.a){μb.a=μb−ΣbaΣ−1aaμaΣbb.a=Σbb−ΣbaΣ−1aaΣab

Xb.a​​∼N(μb.a​,Σbb.a​){μb.a​=μb​−Σba​Σaa−1​μa​Σbb.a​=Σbb​−Σba​Σaa−1​Σab​​​

回过头来重新观察${\mathcal{X}}_b$和${\mathcal{X}}_a$之间的关系：
$${\mathcal{X}}_b={\mathcal{X}}_{b.a}+{\Sigma }_{ba}{\Sigma }_{aa}^{-1}{\mathcal{X}}_a$$
由于上面描述的高斯分布的相关定理可知，${\mathcal{X}}_b$是${\mathcal{X}}_{b.a}$和${\Sigma }_{ba}{\Sigma }_{aa}^{-1}{\mathcal{X}}_a$的线性计算结果，因此它必然也是高斯分布。
因此，关于${\mathcal{X}}_b\mid {\mathcal{X}}_a$的期望${\mathbb{E}}_{[}{\mathcal{X}}_b\mid {\mathcal{X}}_a]$,方差$\text{Var}[{\mathcal{X}}_b\mid {\mathcal{X}}_a]$分别表示如下：
将${\mathcal{X}}_{b.a}+{\Sigma }_{ba}{\Sigma }_{aa}^{-1}{\mathcal{X}}_a$看作$\mathcal{A}\mathcal{X}+\mathcal{B}$的形式，有:
{ X → X b . a A → E B → Σ b a Σ a a − 1 X a {X→Xb.aA→EB→ΣbaΣ−1aaXa

⎩⎪⎨⎪⎧​X→Xb.a​A→EB→Σba​Σaa−1​Xa​​
为什么要这么分：因为${\mathcal{X}}_{b.a}$中包含${\mathcal{X}}_b$变量，而${\mathcal{X}}_b,{\mathcal{X}}_a$由于相互独立，因此视作常数：
$$\{\begin{array}{l}{\mathcal{X}}_a\cap {\mathcal{X}}_b=\varphi \\ {\mathcal{X}}_a\cup {\mathcal{X}}_b=\mathcal{X}\end{array}$$
其中$\mathcal{E}$表示单位向量。该部分可参考这篇文章【PRML】高斯分布
$$\{\begin{array}{l}\begin{array}{rl}\mathbb{E}[{\mathcal{X}}_b\mid {\mathcal{X}}_a]& =\mathcal{E}\cdot {\mu }_{b.a}+{\Sigma }_{ba}{\Sigma }_{aa}^{-1}{\mathcal{X}}_a\\ & ={\mu }_{b.a}+{\Sigma }_{ba}{\Sigma }_{aa}^{-1}{\mathcal{X}}_a\\ & ={\mu }_b+{\Sigma }_{ba}{\Sigma }_{aa}^{-1}({\mathcal{X}}_a-{\mu }_a)\end{array}\\ \begin{array}{rl}\text{Var}[{\mathcal{X}}_b\mid {\mathcal{X}}_a]& =\mathcal{E}\cdot {\Sigma }_{bb.a}\cdot {\mathcal{E}}^T\\ & ={\Sigma }_{bb.a}\\ & ={\Sigma }_{bb}-{\Sigma }_{ba}{\Sigma }_{aa}^{-1}{\Sigma }_{ab}\end{array}\end{array}$$
最终，条件概率分布$\mathcal{P}({\mathcal{X}}_b\mid {\mathcal{X}}_a)$表示如下：
$$\mathcal{P}({\mathcal{X}}_b\mid {\mathcal{X}}_a)\sim \mathcal{N}({\mu }_{b.a}+{\Sigma }_{ba}{\Sigma }_{aa}^{-1}{\mathcal{X}}_a,{\Sigma }_{bb.a})$$

关于$\mathcal{P}({\mathcal{X}}_b\mid {\mathcal{X}}_a)$的个人解释

最大的疑问点在于给出了${\mathcal{X}}_b$的表示：
$${\mathcal{X}}_b={\mathcal{X}}_{b.a}+{\Sigma }_{ba}{\Sigma }_{aa}^{-1}{\mathcal{X}}_a$$
为什么等式右边关于${\mathcal{X}}_b$的表示，它的期望、方差组成的概率分布是条件概率分布？
$${\mathcal{X}}_b\mid {\mathcal{X}}_a\stackrel{\text{?}}{\to }\mathcal{N}({\mu }_{b.a}+{\Sigma }_{ba}{\Sigma }_{aa}^{-1}{\mathcal{X}}_a,{\Sigma }_{bb.a})$$

针对该场景，条件概率$\mathcal{P}({\mathcal{X}}_b\mid {\mathcal{X}}_a)$的本质是给定${\mathcal{X}}_a$的条件下，${\mathcal{X}}_b$的概率分布。思路可以理解成 由已知随机变量集合${\mathcal{X}}_a$参与的，关于${\mathcal{X}}_b$的概率分布。
基于这种思路，创建了中间量${\mathcal{X}}_{b.a}$。这个中间量本身没有实际意义，但是这个中间量的出现，使得对${\mathcal{X}}_b$的均值、方差的表示有了${\mathcal{X}}_a$的参与，并且所有参数都是已知的。

相关参考：
概率分布——百度百科
机器学习-数学基础-概率-高斯分布5-已知联合概率分布求边缘概率及条件概率
协方差矩阵的简单介绍
【PRML】高斯分布