机器学习笔记之受限玻尔兹曼机(四)推断任务——边缘概率

引言

上一节介绍了受限玻尔兹曼机中随机变量节点的后验概率，本节将介绍随机变量结点的边缘概率。

回顾：场景构建

已知受限玻尔兹曼机示例表示如下：

将随机变量集合$\mathcal{X}\in {\mathbb{R}}^p$分成观测变量$v$和隐变量$h$两个部分：
X = ( x 1 , x 2 , ⋯   , x p ) T = ( h v ) p × 1 { h = ( h 1 , h 2 , ⋯   , h m ) m × 1 T v = ( v 1 , v 2 , ⋯   , v n ) n × 1 T m + n = p \mathcal X = (x_1,x_2,\cdots,x_p)^T = (hv)

_{p \times 1} \quad {h=(h1,h2,⋯,hm)Tm×1v=(v1,v2,⋯,vn)Tn×1 \quad m + n = p X=(x1​,x2​,⋯,xp​)T=(hv​)p×1​{h=(h1​,h2​,⋯,hm​)m×1T​v=(v1​,v2​,⋯,vn​)n×1T​​m+n=p
并且观测变量$v$、隐变量$h$中的每一个随机变量均服从伯努利分布：
h j ( j = 1 , 2 , ⋯   , m ) ∈ { 0 , 1 } v i ( i = 1 , 2 , ⋯   , n ) ∈ { 0 , 1 } hj(j=1,2,⋯,m)∈{0,1}vi(i=1,2,⋯,n)∈{0,1}

hj​(j=1,2,⋯,m)∈{0,1}vi​(i=1,2,⋯,n)∈{0,1}​
基于该模型，随机变量集合$\mathcal{X}$的联合概率分布表示如下：
P ( X ) = P ( v , h ) = 1 Z exp ⁡ { − E ( h , v ) } = 1 Z exp ⁡ ( v T W h + b T v + c T h ) = 1 Z exp ⁡ [ ∑ j = 1 m ∑ i = 1 n v i ⋅ w i j ⋅ h j + ∑ i = 1 n b i v i + ∑ j = 1 m c j h j ] P(X)=P(v,h)=1Zexp{−E(h,v)}=1Zexp(vTWh+bTv+cTh)=1Zexp[m∑j=1n∑i=1vi⋅wij⋅hj+n∑i=1bivi+m∑j=1cjhj]

P(X)=P(v,h)​=Z1​exp{−E(h,v)}=Z1​exp(vTWh+bTv+cTh)=Z1​exp[j=1∑m​i=1∑n​vi​⋅wij​⋅hj​+i=1∑n​bi​vi​+j=1∑m​cj​hj​]​

推断任务——边缘概率求解

• 在受限玻尔兹曼机中，仅对观测变量$v$的边缘概率分布进行求解。边缘概率$\mathcal{P}(v)$本质上就是对联合概率分布关于隐变量$h$的积分操作：
  $$\mathcal{P}(v)=\sum _h\mathcal{P}(v,h)$$
• 由于模型已知，即模型参数$\mathcal{W},b,c$是已知的。将上式沿$\mathcal{P}(v,h)$展开：
  再写一遍~
化简目标是：将$\mathcal{P}(v,h)$中关于隐变量$h$中的项积分掉，使其变为‘仅包含观测变量’$v$的式子。
  $$\begin{array}{rl}\mathcal{P}(v)& =\sum _h\left[\frac{1}{\mathcal{Z}}\exp \left(\sum _{j=1}^m\sum _{i=1}^n{v}_i\cdot w_{ij}\cdot h_j+\sum _{i=1}^n{b}_i{v}_i+\sum _{j=1}^m{c}_j{h}_j\right)\right]\\ & =\sum _{h_1},\cdots \sum _{h_m}\left[\frac{1}{\mathcal{Z}}\exp \left(\sum _{j=1}^m\sum _{i=1}^n{v}_i\cdot w_{ij}\cdot h_j+\sum _{i=1}^n{b}_i{v}_i+\sum _{j=1}^m{c}_j{h}_j\right)\right]\end{array}$$
• 观察上述中括号内的项，其中$\frac{1}{\mathcal{Z}},{\sum }_{i=1}^n{b}_i{v}_i$与随机变量$h_j(j=1,2,\cdots ,m)$无关；因而将它们提到公式前端：
  为了方便观看，将$v_i(i=1,2,\cdots ,n)$的部分进行合并
  $$\begin{array}{rl}\mathcal{P}(v)& =\frac{1}{\mathcal{Z}}\exp (b^{T}v)\cdot \sum _{h_1},\cdots ,\sum _{h_m}\exp \left\{\sum _{j=1}^m\left[(h_j{\mathcal{W}}_j{)}^{T}v+c_j{h}_j\right]\right\}\\ & =\frac{1}{\mathcal{Z}}\exp (b^{T}v)\cdot \sum _{h_1},\cdots ,\sum _{h_m}\exp \left\{[(h_1{\mathcal{W}}_1{)}^{T}v+c_1{h}_1]+\cdots +(h_m{\mathcal{W}}_m+c_m{h}_m{)}^{T}v\right\}\end{array}$$
  以大括号第一项为例：$(h_1{\mathcal{W}}_1{)}^{T}v+c_1{h}_1$中只和隐变量$h_1$相关，与其他隐变量无关。因此，上式可改写为：
  $$\mathcal{P}(v)=\frac{1}{\mathcal{Z}}\exp (b^{T}v)\cdot \left\{\sum _{h_1}\exp [(h_1{\mathcal{W}}_1{)}^{T}v+c_1{h}_1]\right\}\cdots \left\{\sum _{h_m}\exp [(h_m{\mathcal{W}}_m{)}^{T}v+c_m{h}_m]\right\}$$
  由于 h j ( j = 1 , 2 , ⋯   , m ) ∈ { 0 , 1 } h_j(j=1,2,\cdots,m) \in \{0,1\} hj​(j=1,2,⋯,m)∈{0,1}，因此上式每个大括号中的项可继续展开，表示为如下形式。这里以第一项为例：
  ∑ h 1 exp ⁡ [ ( h 1 W 1 ) T v + c 1 h 1 ] = ∑ h 1 ∈ { 0 , 1 } exp ⁡ [ ( h 1 W 1 ) T v + c 1 h 1 ] = exp ⁡ ( 0 ) + exp ⁡ ( W 1 T v + c 1 ) = 1 + exp ⁡ ( W 1 T v + c 1 ) ∑h1exp[(h1W1)Tv+c1h1]=∑h1∈{0,1}exp[(h1W1)Tv+c1h1]=exp(0)+exp(WT1v+c1)=1+exp(WT1v+c1)
  h1​∑​exp[(h1​W1​)Tv+c1​h1​]​=h1​∈{0,1}∑​exp[(h1​W1​)Tv+c1​h1​]=exp(0)+exp(W1T​v+c1​)=1+exp(W1T​v+c1​)​
  对上式继续化简：
  对$1+\exp ({\mathcal{W}}_j^{T}v+c_j)$进行变形，将$log$函数引入,从而使$\exp ,\log$相互抵消。
  $$1+\exp ({\mathcal{W}}_j^{T}v+c_j)=\exp \left\{\log [1+\exp ({\mathcal{W}}_j^{T}v+c_j)]\right\}j=1,2,\cdots ,m$$
• 因而原式$\mathcal{P}(v)$有:
  $$\mathcal{P}(v)=\frac{1}{\mathcal{Z}}\exp (b^{T}v)\cdot \prod _{j=1}^m\exp \left\{\log [1+\exp ({\mathcal{W}}_j^{T}v+c_j)]\right\}$$
  将$exp$提出来，最终有：
  $$\mathcal{P}(v)=\frac{1}{\mathcal{Z}}\exp \left\{b^{T}v+\sum _{j=1}^m\log [1+\exp ({\mathcal{W}}_j^{T}v+c_j)]\right\}$$
  观测变量$v$的边缘概率分布即为所求。

边缘概率与Softplus函数

观察上式中的$\log [1+\exp ({\mathcal{W}}_j^{T}v+c_j)]$部分，它实际上就是softplus的表现形式：
$$\text{Softplus}(x)=\log [1+\exp (x)]$$
$\text{Softplus}$函数图像表示如下：

Softplus也是一种激活函数，它可看做是ReLU函数的平滑效果，其值域为$(0,\infty )$(不含0)。并且不会像ReLU函数产生神经元挂掉情况。
并且更值得一提的属性是，Softplus函数的导数是Sigmoid函数：
∂  Softplus ( x ) ∂ x = exp ⁡ ( x ) exp ⁡ ( x ) + 1 = 1 1 + 1 exp ⁡ ( x ) = 1 1 + exp ⁡ ( − x ) ∂ Softplus(x)∂x=exp(x)exp(x)+1=11+1exp(x)=11+exp(−x)

∂x∂ Softplus(x)​​=exp(x)+1exp(x)​=1+exp(x)1​1​=1+exp(−x)1​​

因而上述公式可最终化简为：
${\mathcal{W}}_j$表示$\mathcal{W}$矩阵第$j$行的行向量。
P ( v ) = 1 Z exp ⁡ { b T v + ∑ j = 1 m Softplus ( W j T v + c j ) } \mathcal P(v) = \frac{1}{\mathcal Z} \exp \{b^Tv + \sum_{j=1}^m \text{Softplus}(\mathcal W_j^T v + c_j)\} P(v)=Z1​exp{bTv+j=1∑m​Softplus(WjT​v+cj​)}

至此，受限玻尔兹曼机介绍结束(Learning问题的坑后续补)。下一节将介绍配分函数(Partition Function)。

相关参考：
机器学习-受限玻尔兹曼机（6）-模型推断（Inference）-边缘概率
速用笔记 | Sigmoid/Tanh/ReLu/Softplus 激活函数的图形、表达式、导数、适用条件