机器学习笔记之高斯网络(二)高斯贝叶斯网络

引言

上一节介绍了高斯网络及其条件独立性，本节将介绍高斯贝叶斯网络。

回顾

高斯网络

高斯网络最核心的特点是：随机变量集合中的随机变量均是连续型随机变量，并且均服从高斯分布：
已知某随机变量集合$\mathcal{X}$中包含$p$个特征，整个高斯网络中所有结点的联合概率分布服从多元高斯分布：
X = ( x 1 , x 2 , ⋯   , x p ) T P ( X ) = 1 ( 2 π ) p 2 ∣ Σ ∣ 1 2 exp ⁡ [ − 1 2 ( x − μ ) T Σ − 1 ( x − μ ) ] X=(x1,x2,⋯,xp)TP(X)=1(2π)p2|Σ|12exp[−12(x−μ)TΣ−1(x−μ)]

XP(X)​=(x1​,x2​,⋯,xp​)T=(2π)2p​∣Σ∣21​1​exp[−21​(x−μ)TΣ−1(x−μ)]​
其中期望$\mu$，协方差矩阵$\Sigma$表示如下：
$$\mu ={\left(\begin{array}{c}{\mu }_1\\ {\mu }_2\\ ⋮\\ {\mu }_p\end{array}\right)}_{p\times 1}\sigma ={\left(\begin{array}{c}{\sigma }_{11},{\sigma }_{12},\cdots ,{\sigma }_{1p}\\ {\sigma }_{21},{\sigma }_{22},\cdots ,{\sigma }_{2p}\\ ⋮\\ {\sigma }_{p1},{\sigma }_{p2},\cdots ,{\sigma }_{pp}\end{array}\right)}_{p\times p}$$

• 随机变量之间的边缘独立性：如果随机变量 x i , x j ( i , j ∈ { 1 , 2 , ⋯   , p } ; i ≠ j ) x_i,x_j (i,j \in \{1,2,\cdots,p\};i\neq j) xi​,xj​(i,j∈{1,2,⋯,p};i​=j)对应协方差矩阵的结果$Cov(x_i,x_j)={\sigma }_{ij}=0$，那么称$x_i,x_j$是不相关的。也称$x_i,x_j$边缘独立或者绝对独立：
  $${\sigma }_{ij}=0\Rightarrow x_i\perp x_j$$
• 随机变量之间的条件独立性：如果随机变量 x i , x j ( i , j ∈ { 1 , 2 , ⋯   , p } ; i ≠ j ) x_i,x_j(i,j \in \{1,2,\cdots,p\};i \neq j) xi​,xj​(i,j∈{1,2,⋯,p};i​=j)对应精度矩阵(Precision Matrix)结果${\lambda }_{ij}=0$,称给定除去$x_i,x_j$之外其他结点的条件下，$x_i,x_j$相互独立：
  其中$\Lambda =[{\lambda }_{ij}{]}_{p\times p}$表示精度矩阵，它是协方差矩阵的‘逆矩阵’。
  $${\lambda }_{ij}=0\Rightarrow x_i\perp x_j\mid x_{-i-j}$$

贝叶斯网络：因子分解

基于贝叶斯网络有向图的性质，针对随机变量集合$\mathcal{X}$的联合概率分布$\mathcal{P}(\mathcal{X})$进行表达。
已知随机变量集合$\mathcal{X}$包含$p$个维度特征，因而$\mathcal{X}$的联合概率分布$\mathcal{P}(\mathcal{X})$表示如下：
$$\mathcal{P}(\mathcal{X})=\mathcal{P}(x_1,x_2,\cdots ,x_p)$$
针对联合概率分布求解，最朴素的方式是条件概率的链式法则(Chain Rule)：
$$\mathcal{P}(x_1,x_2,\cdots ,x_p)=\mathcal{P}(x_1)\cdot \prod _{i=2}^p\mathcal{P}(x_i\mid x_1,\cdots ,x_{i-1})$$
但如果随机变量集合$\mathcal{X}$维度过高，这种链式法则计算代价很大。可以将对应的概率图模型视作完全图——任意两个特征之间都需要求解其关联关系。
而贝叶斯网络的条件独立性 可以极大程度地简化运算过程。给定贝叶斯网络的表达方式，可以直接写出各节点的联合概率分布：
$$\mathcal{P}(x_1,x_2,\cdots ,x_p)=\prod _{i=1}^p\mathcal{P}(x_i\mid x_{pa(i)})$$
其中$x_{pa(i)}$表示$x_i$结点的父节点组成的集合。

高斯贝叶斯网络：因子分解

已知贝叶斯网络中一共包含$p$个结点，它的联合概率分布(因子分解)表示如下：
$$\mathcal{P}(\mathcal{X})=\prod _{i=1}^p\mathcal{P}(x_i\mid x_{pa(i)})$$

从 全局模型(Global Model) 角度观察，高斯贝叶斯网络是基于线性高斯模型(局部模型(Local Model))的模型架构。

• 局部模型架构：对于线性高斯模型并不陌生，在卡尔曼滤波中对线性高斯模型又了一定认识。

  从宏观角度认识线性高斯模型，即模型中某节点与父结点之间存在线性关系，并且噪声服从高斯分布：
  可以理解为：高斯贝叶斯网络中的‘有向边’表示节点与父节点之间的‘具有高斯分布噪声的线性关系’。
  这里已知$\mathcal{X},\mathcal{Y}$是两个随机变量集合，$\mathcal{X}$的边缘概率分布$\mathcal{P}(\mathcal{X})$和条件概率分布$\mathcal{P}(\mathcal{Y}\mid \mathcal{X})$表示如下：
  { P ( X ) ∼ N ( μ X , Σ X ) P ( Y ∣ X ) ∼ N ( A X + B , Σ Y ) {P(X)∼N(μX,ΣX)P(Y∣X)∼N(AX+B,ΣY)

  {P(X)∼N(μX​,ΣX​)P(Y∣X)∼N(AX+B,ΣY​)​
  局部模型描述结点之间的关联关系 表示如下：
  
  同理，关于结点$\mathcal{Y}$的边缘概率分布$\mathcal{P}(\mathcal{Y})$以及$\mathcal{P}(\mathcal{X}),\mathcal{P}(\mathcal{Y}\mid \mathcal{X})$的推断结果$\mathcal{P}(\mathcal{X}\mid \mathcal{Y})$同样服从高斯分布。具体结果表示如下：
  推导过程详见：高斯分布——推断任务之边缘概率分布与条件概率分布
  $$\begin{array}{rl}\mathcal{P}(\mathcal{Y})& \sim \mathcal{N}(\mathcal{A}\mu +\mathcal{B},\mathcal{A}{\Sigma }_{\mathcal{X}}{\mathcal{A}}^T+{\Sigma }_{\mathcal{Y}})\\ \mathcal{P}(\mathcal{X}\mid \mathcal{Y})& \sim \mathcal{N}(\Sigma \left\{{\mathcal{A}}^T{\Sigma }_{\mathcal{Y}}^{-1}(\mathcal{Y}-\mathcal{B})+\mathcal{A}\mu \right\},\Sigma )\Sigma ={\Sigma }_{\mathcal{X}}^{-1}+{\mathcal{A}}^T{\Sigma }_{\mathcal{Y}}^{-1}{\mathcal{A}}^{-1}\end{array}$$

实际上，卡尔曼滤波(Kalman Filter)自身就是一个特殊的高斯贝叶斯网络。它的概率图模型表示如下：

由于齐次马尔可夫假设、观测独立性假设的约束，概率图中无论是观测变量 O = { o 1 , ⋯   , o T } \mathcal O = \{o_1,\cdots,o_T\} O={o1​,⋯,oT​}还是隐变量 I = { i 1 , ⋯   , i T } \mathcal I = \{i_1,\cdots,i_T\} I={i1​,⋯,iT​}，它们均仅有一个父节点：

• 基于齐次马尔可夫假设，相邻隐变量$i_t,i_{t-1}$之间的条件概率表示为：
  $$\mathcal{P}(i_t\mid i_{t-1})\sim \mathcal{N}(\mathcal{A}\cdot i_{t-1}+\mathcal{B},\mathcal{Q})$$
• 基于观测独立性假设，隐变量$i_t$与对应时刻观测变量$o_t$之间的条件概率表示为：
  $$\mathcal{P}(o_t\mid i_t)\sim \mathcal{N}(\mathcal{C}\cdot i_t+\mathcal{D},\mathcal{R})$$

基于上述假设，对随机变量之间关联关系的表示(Representation)描述为：
之所以将噪声均值设置为0 -> 均值偏差可以归纳到对应偏置项$\mathcal{B},\mathcal{D}$中。
{ i t = A ⋅ i t − 1 + B + ϵ ϵ ∼ N ( 0 , Q ) o t = C ⋅ i t + D + δ δ ∼ N ( 0 , R ) {it=A⋅it−1+B+ϵϵ∼N(0,Q)ot=C⋅it+D+δδ∼N(0,R)

{it​=A⋅it−1​+B+ϵϵ∼N(0,Q)ot​=C⋅it​+D+δδ∼N(0,R)​

相比之下，高斯贝叶斯网络并没有假设约束，结点中可能存在多个父节点组成的集合。
给定一个高斯贝叶斯网络的局部图如下：
这里仅讨论$x_i$与其父节点们之间的关系，其余部分略掉了。

很明显：$x_1,x_2,\cdots ,x_k$均是$x_i$的父节点，将局部模型延伸到一个更大的局部模型。
这里$x_1,x_2,\cdots ,x_k$以及$x_i$均是一维随机变量：

• 假设$x_i$的父节点集合中仅包含一个随机变量($x_1$为例)，那么$\mathcal{P}(x_i\mid x_{pa(i)})$可表示为：

  • 这里定义的${\mu }_i,{\sigma }_i^2$是表示$x_1,x_i$之间线性关系中噪声的高斯分布，但是高斯贝叶斯网络中定义的噪声$ϵ\sim \mathcal{N}(0,{\sigma }_i^2)$,因而相当于${\mu }_i$单独被提出来，因为${\mu }_i$就是表示关于分布的‘位置信息’。因此，下面公式中的$ϵ$才是真正噪声的分布形态。
  • 因而参数${\mu }_i$是自然存在的。文章参考：概率密度函数角度认识最小二乘法
    $$\begin{array}{rl}{x}_i& =w_{i1}\cdot x_1+ϵϵ\sim \mathcal{N}({\mu }_i,{\sigma }_i^2)\\ \mathcal{P}(x_i\mid x_{pa(i)})& \to \mathcal{P}(x_i\mid x_1)\sim \mathcal{N}(w_{i1}\cdot x_1+{\mu }_i,{\sigma }_i^2)\end{array}$$

  对应$x_i,x_1$随机变量之间关联关系的表示 为：
  $$x_i={\mu }_i+w_{i1}\cdot (x_1-{\mu }_1)+{\sigma }_i\cdot {ϵ}_iϵ{\sim }_i\mathcal{N}(0,1)$$
  关于上述公式的一些个人理解：

  • 多出来的${\mu }_1$是哪来的：
为了简化运算，通常对‘随机变量的分布’进行平移’，就是去中心化。
  • 执行线性运算之后，方差必然会发生变化。应变化为$w_{i1}^2\cdot {\sigma }_i^2$,但是$\mathcal{P}(x_i\mid x_1)$并没有变化,依旧是${\sigma }_i^2$：方差变化是$x_i$的边缘概率分布$\mathcal{P}(x_i)$,而不是$\mathcal{P}(x_i\mid x_1)$,这也是线性高斯模型的假设方式。
  • 偏置项去哪了：最终都需要‘去中心化’，将分布的均值(中心)回归零点，因而被省略掉了，或者也可理解为‘合并到’${\mu }_i$中。

  欢迎小伙伴们交流讨论。

• 同理，父结点集合中包含多个随机变量，将父结点集合看成向量形式，因而$x_{pa(i)}$以及对应权重信息${\mathcal{W}}_i$表示如下：
  x p a ( i ) = ( x 1 , x 2 , ⋯   , x k ) k × 1 T W i = ( w i 1 , w i 2 , ⋯   , w i k ) k × 1 T xpa(i)=(x1,x2,⋯,xk)Tk×1Wi=(wi1,wi2,⋯,wik)Tk×1

  xpa(i)​=(x1​,x2​,⋯,xk​)k×1T​Wi​=(wi1​,wi2​,⋯,wik​)k×1T​​
  至此，$\mathcal{P}(x_i\mid x_{pa(i)})$表示如下：
  $$\begin{array}{rl}\mathcal{P}(x_i\mid x_{pa(i)})& =\mathcal{N}({\mathcal{W}}_i^T{x}_{pa(i)}+{\mu }_i,{\sigma }_i^2)\\ & =\mathcal{N}((x_1\cdot w_{i1}+\cdots +x_k\cdot w_{ik})+{\mu }_i,{\sigma }_i^2)\end{array}$$
  因而$x_i,x_{pa(i)}$随机变量之间的关联关系表示为：
  $$\begin{array}{rl}{x}_i-{\mu }_i& ={\mathcal{W}}_i^T(x_{pa(i)}-{\mu }_{pa(i)})+{\sigma }_i\cdot {ϵ}_i\\ & ={\left(\begin{array}{c}{w}_{i1},w_{i2},\cdots ,w_{ik}\end{array}\right)}_{1\times k}{\left[\left(\begin{array}{c}{x}_1\\ x_2\\ ⋮\\ x_k\end{array}\right)-\left(\begin{array}{c}{\mu }_1\\ {\mu }_2\\ ⋮\\ {\mu }_k\end{array}\right)\right]}_{k\times 1}+{\sigma }_i\cdot {ϵ}_i\\ & =\sum _{j\in x_{pa(i)}}{w}_{ij}(x_j-{\mu }_j)+{\sigma }_i\cdot {ϵ}_i\end{array}$$

下一节将介绍：高斯马尔可夫随机场。

相关参考：
机器学习-高斯网络(2)-高斯贝叶斯网络