Why Metropolis–Hastings Works

https://gregorygundersen.com/blog/2019/11/02/metropolis-hastings/
https://gregorygundersen.com/blog/2019/11/02/metropolis-hastings/

这里是引用``
为什么MH能够工作，假定我们想要从目标分布pai采样，我们能够估计pai，但是不能从中采样，MH实现了一种通过马尔科夫链随机游走的方式达到稳定的分布，在链中的每一步，一个新的状态被提出来，这个新的状态要么接收，要么拒绝通过动态的计算概率，叫做接收准则，这个马尔科夫链绝不是显然的构造，是隐式的构造，我们不能吧转移概率矩阵存储到磁盘中，然而，当MH算法运行足够长的时间后知道马尔科夫链收敛，然后这个在链中给定的状态就能通与这个相关采样的概率，因此，在马尔可夫链中记录，长时间的运行，就像采样pai*。

这个想法是深刻的，但不是明显的，如果这个想法对你来说是新的，你应该读上面段落两遍，然而，我的goto作者对这个机器学习概率有很好的解释，同样mh的博客也解释了接收准则，但并没有说明它们为什么能够工作，例如，在MACKAY之后，引进了接受准则的介绍，它写下，

对于任何一个正定矩阵Q(x,x`)>0，随着t-》无穷，这个概率分布x(t)->P(x)
1

上面，P就是目标分布，我们叫它pai*,Q是提出来的初始采样，x(t)是t步的采样，上面的解释完全忽略了令人兴奋的部分：行走隐马尔可夫链与从目标分布中抽样是如何相同的，接受标准如何确保我们根据期望的链随机行走

这篇文章的目的是正式地证明这个算法。表示法和证明是基于(Chib & Greenberg, 1995)。我假设读者理解马尔可夫链。如果需要，请参阅我以前的帖子进行介绍。

概念：
考虑马尔科夫链的转移核矩阵P(x,A)这里x属于R^d,并且A是我们样本空间的子集，在离散空间中，这个稳定分布是


MCMC方法的采样问题是美丽的但不是显而易见 ，我们想要采样目标分布pai*，让我们把pai想象乘目标马尔科夫链的稳定分布，如果我们随机的游走，就能够采样从目标分布pai中，因此，我们要构造转移核矩阵P（x,A)，并且在有限步收敛到Pai*