机器学习笔记之马尔可夫链蒙特卡洛方法(四)吉布斯采样

引言

上一节介绍了将马尔可夫链与蒙特卡洛方法相结合的算法——MH采样算法(Metropolis Hastings)，本节将介绍吉布斯采样算法(Gibbs Sampling)。

回顾：MH采样算法

基于马尔可夫链的采样方式

首先，MH算法是基于马尔可夫链的采样方式：

• 通过构建合适的状态转移矩阵${\mathcal{A}}^{\ast }$，使得连续状态下的随机变量${\mathcal{X}}_t,{\mathcal{X}}_{t+1}$对应的概率分布满足细致平衡原则(Detail Balance)：
  $$\pi ({\mathcal{X}}_t=x_i)\cdot P({\mathcal{X}}_{t+1}=x_j\mid {\mathcal{X}}_t=x_i)=\pi ({\mathcal{X}}_t=x_j)\cdot P({\mathcal{X}}_{t+1}=x_i\mid {\mathcal{X}}_t=x_j)$$
  其中，$\pi ({\mathcal{X}}_t),\pi ({\mathcal{X}}_{t+1})$表示不同时刻对应随机变量${\mathcal{X}}_t,{\mathcal{X}}_{t+1}$的概率分布；$P({\mathcal{X}}_{t+1}\mid {\mathcal{X}}_t)$表示$t$时刻到$t+1$时刻的状态转移概率。
• 这种状态转移矩阵${\mathcal{A}}^{\ast }$的构建方式，使得马尔可夫链 { X T } \{\mathcal X_{T}\} { XT​}共用同一个概率分布，即平稳分布；
• 已知上一状态随机变量${\mathcal{X}}_{k-1}$选择具体离散结果$x_{k-1}$的条件下，当前状态随机变量${\mathcal{X}}_k$的采样结果可表示如下：
  $$x_k\sim P({\mathcal{X}}_k\mid {\mathcal{X}}_{k-1}=x_{k-1})$$
• 由于平稳分布的原因，使得 各时间状态产生的样本点 { x 0 , x 1 , ⋯   , x k − 1 , x k , ⋯   } \{x_0,x_1,\cdots,x_{k-1},x_{k},\cdots \} { x0​,x1​,⋯,xk−1​,xk​,⋯}均属于平稳分布的样本点，从而使用蒙特卡洛方法来求解该平稳分布的期望信息：
  $N$表示采集样本点数量。
  $${\mathbb{E}}_{\mathcal{X}}[f(\mathcal{X})]=\frac{1}{N}\sum _{i=1}^{N}f(x_i)$$

细致平衡原则与接收率

在马尔可夫链与平稳分布中介绍过，由于马尔可夫链自身的 齐次马尔可夫假设 的性质，使得状态转移矩阵$\mathcal{A}$必然是一个双随机矩阵；
由于双随机矩阵的自身性质，使得只要状态转移过程足够多，各状态随机变量的概率分布必然逼近于平稳分布：
$m$表示执行了足够多次状态转移过程后达到平稳分布的状态结果;${\mathcal{X}}_{end}$表示转移过程的终结状态。
$$\pi ({\mathcal{X}}_{m+1})=\pi ({\mathcal{X}}_{m+2})=\cdots =\pi ({\mathcal{X}}_{end})$$

但是，我们并不清楚：到底状态转移至什么状态，就可以得到平稳分布了？
或者可理解为：虽然平稳分布在马尔可夫链中必然存在，但是要一直等下去，等到转移次数足够多了，就大致认为其是平稳分布。

这种做法明显是不精确的。我们需要有一种方式，来判断当前时刻随机变量的概率分布是否为平稳分布？
细致平衡原则很好地满足了这样的条件，准确来说：细致平衡原则是判断当前状态随机变量${\mathcal{X}}_t$是平稳分布的充分不必要条件。
$$\pi ({\mathcal{X}}_t=x_i)\cdot P({\mathcal{X}}_{t+1}=x_j\mid {\mathcal{X}}_t=x_i)\stackrel{\text{?}}{=}\pi$$