机器学习笔记之变分推断(一)基本介绍

引言

从本节开始将从推断入手介绍变分推断。

背景介绍

提示：本节的背景介绍与机器学习笔记之隐马尔可夫模型(一)概率模型背景的阶段性介绍的部分有很多重复部分，请对比食用，谢谢。

频率学派角度认识问题

从频率学派的角度观察，其针对的核心问题是优化问题。

• 示例1：线性回归(Linear Regression,LR)，是一种针对数据拟合的统计分析方法。

  • 模型表示：
    $$f(\mathcal{W},b)={\mathcal{W}}^T\mathcal{X}+b$$
    其中，$\mathcal{X}$表示样本集合，$\mathcal{W},b$表示模型参数。最终目的是 通过已知数据$\mathcal{X}$，将模型参数$\mathcal{W},b$估计出来。

  • 基于上述思想，提出一个损失函数(Loss Function)：每个样本点对拟合直线的误差之和。
    $$\mathcal{L}(\mathcal{W},b)=\sum _{i=1}^N||{\mathcal{W}}^T{x}^{(i)}+b-y^{(i)}|{|}^2(x^{(i)},y^{(i)})\in \mathcal{D}$$
    其中，$\mathcal{D}$表示数据集合，$x^{(i)}(i=1,2,\cdots ,N)$表示数据集合中任意一个样本信息，$N$表示样本数量，是一个$p$维向量；$y^{(i)}$表示样本信息$x^{(i)}$对应的标签信息，是一个标量：
    $$\begin{gathered} \mathcal{D}=\{(x^{(i)},y^{(i)}){\}}_{i=1}^N \\ {x}^{(i)}=(x_1^{(i)},x_2^{(i)},\cdots ,x_p^{(i)}{)}^T \end{gathered}$$

  • 针对最优模型参数$\hat{\mathcal{W}},\hat{b}$的求解问题，求解思想是：最小化样本点拟合直线的误差结果。
    $$\begin{gathered} \hat{\mathcal{W}}=\underset{\mathcal{W}}{\mathrm{argmax}}\mathcal{L}(\mathcal{W},b) \\ \hat{b}=\underset{b}{\mathrm{argmax}}\mathcal{L}(\mathcal{W},b) \end{gathered}$$
    关于求解方式，分为解析解和数值解两种：
    直接将$\mathcal{L}(\mathcal{W},b)$对$\mathcal{W}$求偏导，求得$\mathcal{W}$的解析解如下：
    $$\frac{\partial \mathcal{L}(\mathcal{W},b)}{\partial \mathcal{W}}\triangleq 0\to \hat{\mathcal{W}}={\left({\mathcal{X}}^T\mathcal{X}\right)}^{-1}{\mathcal{X}}^T\mathcal{Y}\mathcal{X}={\left(x^{(1)},\cdots ,x^{(N)}\right)}_{N\times p}^T\mathcal{Y}={\left(y^{(i)},\cdots ,y^{(N)}\right)}_{N\times 1}^T$$
    数值解一般使用方法如 梯度下降(Gradient Descent,GD)方法、随机梯度下降(Stochastic Gradient Descent,SGD)方法进行求解。

• 示例2：支持向量机(Support Vector Machine,SVM)，它是一种基于线性分类的 硬分类代表方法。

  • 模型表示：
    $$f(\mathcal{W},b)=sign({\mathcal{W}}^T\mathcal{X}+b)$$
  • 支持向量机的损失函数是一个 包含$N$个约束的优化问题，并且是凸优化问题：
    $$\{\begin{array}{l}\min \frac{1}{2}{\mathcal{W}}^T\mathcal{W}\\ s.t.y^{(i)}\left({\mathcal{W}}^T{x}^{(i)}+b\right)\ge 1(i=1,2,\cdots ,N)\end{array}$$
  • 对上述损失函数求解：
    • 由于上述问题是凸二次规划问题，可以直接使用$\mathcal{Q}\mathcal{P}$方法进行求解；
    • 使用拉格朗日乘数法，将上述问题转化为对偶问题，并基于对偶问题进行求解。

• 示例3：EM算法，该算法基于极大似然估计，通过迭代求解的方式对含隐变量的模型参数进行优化：
  $$\hat{\theta }=\underset{\theta }{\mathrm{argmax}}\log P(\mathcal{X}\mid \theta )$$
  其迭代公式表示如下：
  $${\theta }^{(t+1)}=\underset{\theta }{\mathrm{argmax}}{\int }_{\mathcal{Z}}P(\mathcal{X},\mathcal{Z}\mid \theta )\cdot P(\mathcal{Z}\mid \mathcal{X},{\theta }^{(t)})d\mathcal{Z}$$

经过整理，优化问题 的核心是求出概率模型的具体参数结果$\theta$，并通过$\theta$表示概率模型$P(\mathcal{X}\mid \theta )$。
这个‘优化问题’的重点在于‘求解’过程，而‘策略’可以理解成优化过程的一种载体。

贝叶斯学派角度认识问题

从贝叶斯的角度观察，其针对的核心问题是积分问题。
已知样本集合$\mathcal{X}$，通过贝叶斯定理求解 $\mathcal{X}$条件下，模型参数$\theta$的后验概率分布$P(\theta \mid \mathcal{X})$：
$$P(\theta \mid \mathcal{X})=\frac{P(\mathcal{X}\mid \theta )\cdot P(\theta )}{P(\mathcal{X})}$$

• $P(\theta )$为关于模型参数$\theta$的先验概率分布；
• $P(\mathcal{X}\mid \theta )$为数据集合$\mathcal{X}$的似然；
• $P(\theta \mid \mathcal{X})$为模型参数$\theta$的后验概率分布；
• $P(\mathcal{X})$为证据(Evidence)，即数据集合$\mathcal{X}$的边缘概率分布。可写成如下形式：
  $${\int }_{\theta }P(\mathcal{X},\theta )d\theta ={\int }_{\theta }P(\mathcal{X}\mid \theta )\cdot P(\theta )d\theta$$

贝叶斯推断(Inference)：特指 在贝叶斯框架内，将$\theta$的后验概率分布$P(\theta \mid \mathcal{X})$求解出来。
贝叶斯决策(Decision)：已知数据集合$\mathcal{X}$中包含$N$个样本，现存在一个 集合$\mathcal{X}$外的样本$\hat{x}$，求解集合$\mathcal{X}$条件下，$\hat{x}$的后验概率$P(\hat{x}\mid \mathcal{X})$。

至此，我们通过模型参数$\theta$，将集合$\mathcal{X}$与新样本$\hat{x}$关联起来：
概率密度积分方法~
P ( x ^ ∣ X ) = ∫ θ P ( x ^ , θ ∣ X ) d θ = ∫ θ P ( x ^ ∣ θ ) ⋅ P ( θ ∣ X ) d θ P(ˆx∣X)=∫θP(ˆx,θ∣X)dθ=∫θP(ˆx∣θ)⋅P(θ∣X)dθ

P(x^∣X)​=∫θ​P(x^,θ∣X)dθ=∫θ​P(x^∣θ)⋅P(θ∣X)dθ​
至此，基于贝叶斯框架对 新样本$\hat{x}$ 的预测过程：

• 通过贝叶斯推断 求解参数$\theta$的后验概率分布$P(\theta \mid \mathcal{X})$；
• 基于$P(\theta \mid \mathcal{X})$，通过贝叶斯决策求解$\hat{x}$的后验概率分布$P(\hat{x}\mid \mathcal{X})$。

观察上式，可以直接将$P(\hat{x}\mid \mathcal{X})$看做$P(\hat{x}\mid \theta )$关于$P(\theta \mid \mathcal{X})$的期望形式：
$$P(\hat{x}\mid \mathcal{X})={\mathbb{E}}_{\theta \mid \mathcal{X}}\left[P(\hat{x}\mid \theta )\right]$$
因此，贝叶斯角度实现新样本$\hat{x}$的预测过程，其核心在于：如何求解参数的后验概率分布$P(\theta \mid \mathcal{X})$。
因此，求解后验概率分布$P(\theta \mid \mathcal{X})$这个行为被称为推断(Inference)。
和频率角度看待问题的核心区别：

• 频率角度求解的是‘模型参数’$\theta$的‘具体结果’或‘迭代产生的近似结果’;(仅关于参数本身)
• 贝叶斯角度求解的是‘一个概率分布’，关于参数$\theta$的后验概率分布$P(\theta \mid \mathcal{X})$

推断主要分为如下几种类型：

• 精确推断(Exact Inference)：$P(\theta \mid \mathcal{X})$可以直接求解。常见的精确推断有:
  • 变量消去法
  • 信念传播(Belief Propagation)
• 近似推断(Approximate Inference)：使用近似推断的核心原因是参数空间维度、隐变量空间维度$\mathcal{K}$过高，使得对$P(\mathcal{X})$的求解过程中出现 积分难问题：
  $$\begin{array}{rl}P(\mathcal{X})& ={\int }_{\mathcal{Z}}P(\mathcal{X}\mid \mathcal{Z})\cdot P(\mathcal{Z})d\mathcal{Z}\\ & ={\int }_{z_1}\cdots {\int }_{z_{\mathcal{K}}}P(\mathcal{X}\mid \mathcal{Z})\cdot P(\mathcal{Z})d{z}_1,\cdots ,z_{\mathcal{K}}\end{array}$$
  从而没有办法直接求解后验$P(\theta \mid \mathcal{X})$。因此，只能通过某些方法近似求解后验概率分布$P(\theta \mid \mathcal{X})$。
  近似推断可以细分为如下两类：
  • 确定性近似。代表方法：变分推断；
  • 随机近似。代表方法：马尔可夫链蒙特卡洛方法(Markov Chain Monte Carlo,MCMC)

下一节将介绍变分推断的公式推导。

相关参考：
机器学习-变分推断1（背景介绍）