机器学习笔记之贝叶斯线性回归(三)预测任务推导过程

引言

上一节介绍了贝叶斯线性回归推断任务的推导过程，本节将介绍预测任务(Prediction)的推导过程

回顾：贝叶斯线性回归——推断任务

通过贝叶斯定理，关于后验分布$\mathcal{P}(\mathcal{W}\mid Data)$的推断结果表示如下：
$\mathcal{P}(\mathcal{W}\mid \mathcal{X})$表示关于模型参数$\mathcal{W}$的先验概率，与$\mathcal{X}$无关，因而省略。
P ( W ∣ D a t a ) = P ( Y ∣ W , X ) ⋅ P ( W ∣ X ) P ( Y ∣ X ) ∝ P ( Y ∣ W , X ) ⋅ P ( W ) P(W∣Data)=P(Y∣W,X)⋅P(W∣X)P(Y∣X)∝P(Y∣W,X)⋅P(W)

P(W∣Data)​=P(Y∣X)P(Y∣W,X)⋅P(W∣X)​∝P(Y∣W,X)⋅P(W)​
其中，根据线性回归模型，得知似然$\mathcal{P}(\mathcal{Y}\mid \mathcal{W},\mathcal{X})$服从均值为$0$，方差为${\sigma }^2$的一维高斯分布：
该高斯分布维度和标签$y^{(i)}(i=1,2,\cdots ,N)$的维度相同
需要注意的点：这个高斯分布是关于$\mathcal{Y}$的条概率分布。
$$\mathcal{P}(\mathcal{Y}\mid \mathcal{W},\mathcal{X})\sim \mathcal{N}(\mathcal{Y}\mid {\mathcal{W}}^T\mathcal{X}+\mu ,{\sigma }^2)\mu =0$$
$\mathcal{P}(\mathcal{W})$是模型参数$\mathcal{W}$的先验概率分布，这里假设$\mathcal{P}(\mathcal{W})$服从均值为0，协方差为${\Sigma }_{prior}$的高斯分布：
同上，这里的高斯分布是$p$维高斯分布，和$\mathcal{W}$的维度相同。
$$\mathcal{P}(\mathcal{W})\sim \mathcal{N}(0,{\Sigma }_{prior})$$
因而基于高斯分布的自共轭性质，后验分布$\mathcal{P}(\mathcal{W}\mid Data)$同样服从高斯分布。这里定义$\mathcal{P}(\mathcal{W}\mid Data)\sim \mathcal{N}({\mu }_{\mathcal{W}},{\Sigma }_{\mathcal{W}})$并表示如下：
详见指数族分布介绍中的指数族分布共轭性质。
$\mathcal{P}(\mathcal{W}\mid Data)$也可以写成$\mathcal{P}(\mathcal{W}\mid \mathcal{X},\mathcal{Y})$.
$$\mathcal{N}({\mu }_{\mathcal{W}},{\Sigma }_{\mathcal{W}})\propto \mathcal{N}({\mathcal{W}}^T\mathcal{X},{\sigma }^2)\cdot \mathcal{N}(0,{\Sigma }_{prior})$$
通过推断，得到${\mu }_{\mathcal{W}},{\Sigma }_{\mathcal{W}}$表示如下：
$$\{\begin{array}{l}{\mu }_{\mathcal{W}}=\frac{1}{{\sigma }^2}\left({\mathcal{A}}^{-1}{\mathcal{X}}^T\mathcal{Y}\right)\\ {\Sigma }_{\mathcal{W}}={\mathcal{A}}^{-1}\\ \mathcal{A}={\left[\frac{1}{{\sigma }^2}{\mathcal{X}}^T\mathcal{X}+{\Sigma }_{prior}^{-1}\right]}_{p\times p}\end{array}$$

预测任务

贝叶斯方法中，求解模型参数的概率分布只是一个中间步骤，最终目标是基于$\mathcal{W}$概率分布$\mathcal{P}(\mathcal{W}\mid \mathcal{X},\mathcal{Y})$，给定 未知样本$\hat{x}$，对它的 标签$\hat{y}$ 进行预测。
观察一下，$\mathcal{P}(\mathcal{W}\mid \mathcal{X},\mathcal{Y})$已求解的条件下，未知样本$\hat{x}$标签的预测过程：

• 基于线性回归模型：
  这里$x$是’单个样本‘的宏观表示,$y$是单个标签的宏观表示。
  $$\{\begin{array}{l}f(x)={\mathcal{W}}^{T}x=x^T\mathcal{W}={\sum }_{i=1}^p{w}_i\cdot x_i\\ y=f(x)+ϵϵ\sim \mathcal{N}(0,{\sigma }^2)\end{array}$$
  其中这里的$\mathcal{W}$表示$\mathcal{W}$的后验概率分布$\mathcal{P}(\mathcal{W}\mid \mathcal{X},\mathcal{Y})$，是已经通过数据结合$Data$学习好了的参数。
• 将未知样本$\hat{x}$看做一个不含概率分布的向量，因而${\hat{x}}^T\mathcal{W}$的概率分布表示如下：
  ${\hat{x}}^T\mathcal{W}$这种表示相当于给$\mathcal{W}$乘了一个系数，相当于${\hat{x}}^T\mathcal{W}$和$\mathcal{W}$之间存在线性关系。根据高斯分布的相关定理介绍,有：(常数$\mathcal{B}$的方差是0)
  $$\mathcal{Y}=\mathcal{A}\mathcal{X}+\mathcal{B}\to \{\begin{array}{l}{\mu }_{\mathcal{Y}}={\mathbb{E}}_{\mathcal{P}(\mathcal{Y})}[\mathcal{Y}]=\mathcal{A}{\mathbb{E}}_{\mathcal{P}(\mathcal{X})}[\mathcal{X}]+\mathcal{B}=\mathcal{A}\mu +\mathcal{B}\\ {\Sigma }_{\mathcal{Y}}=\text{Var}(\mathcal{Y})=\text{Var}(\mathcal{A}\mathcal{X})=\mathcal{A}\Sigma {\mathcal{A}}^T\end{array}$$
  这里将${\hat{x}}^T$看作$\mathcal{A};\mathcal{B}=0$:
  由于$[{\hat{x}}^T{]}_{1\times p}[\mathcal{W}{]}_{p\times 1}$本身是一个实数(一维向量)，因而对应分布同样是一维高斯分布。该分布仅仅是’无高斯分布噪声‘(noise-free)的分布结果。
  $$\begin{array}{rl}{\hat{x}}^T\mathcal{W}& \sim \mathcal{N}({\hat{x}}^T{\mu }_{\mathcal{W}},{\hat{x}}^T\cdot {\Sigma }_{\mathcal{W}}\cdot \hat{x})\end{array}$$
• $\hat{x}$对应标签$\hat{y}$的概率分布表示如下：
  $$\begin{array}{rl}& \hat{y}={\hat{x}}^T\mathcal{W}+ϵϵ\sim \mathcal{N}(0,{\sigma }^2)\\ & \begin{array}{rl}\mathcal{P}(\hat{y}\mid Data,\hat{x})& \sim \mathcal{N}({\hat{x}}^T{\mu }_{\mathcal{W}},{\hat{x}}^T\cdot {\Sigma }_{\mathcal{W}}\cdot \hat{x})+\mathcal{N}(0,{\sigma }^2)\\ & =\mathcal{N}({\hat{x}}^T{\mu }_{\mathcal{W}},{\hat{x}}^T\cdot {\Sigma }_{\mathcal{W}}\cdot \hat{x}+{\sigma }^2)\end{array}\end{array}$$
  至此，关于样本$\hat{x}$的预测标签$\hat{y}$的概率分布求解完毕。

贝叶斯线性回归小结

使用贝叶斯方法求解线性回归，它主要分为两大步骤：

• 模型参数$\mathcal{W}$的推断过程。即基于数据集合$Data$，求解$\mathcal{W}$的后验概率分布(Psoterior)：
  这里先验概率分布$\mathcal{P}(\mathcal{W})$给定一个均值为0的高斯分布。
  $$\begin{array}{rl}\mathcal{P}(\mathcal{W}\mid Data)& \propto \mathcal{P}(\mathcal{Y}\mid \mathcal{W},\mathcal{X})\cdot \mathcal{P}(\mathcal{W})\\ & \sim \mathcal{N}({\mu }_{\mathcal{W}},{\Sigma }_{\mathcal{W}})\end{array}$$
• 基于已求解的关于$\mathcal{W}$的后验分布，给定未知样本$\hat{x}$，对标签$\hat{y}$的概率分布进行预测：
  将训练好的(已求解的)$\mathcal{W}$带入$\hat{x}$进行预测。
  $$\begin{array}{rl}\mathcal{P}(\hat{y}\mid Data,\hat{x})& ={\int }_{\mathcal{W}\mid Data}\mathcal{P}(\mathcal{W}\mid Data)\cdot \mathcal{P}(\hat{y}\mid \mathcal{W},Data,\hat{x})d\mathcal{W}\\ & ={\mathbb{E}}_{\mathcal{W}\mid Data}\left[P(\hat{y}\mid \mathcal{W},Data,\hat{x})\right]\end{array}$$

至此，贝叶斯线性回归介绍结束。

相关参考：
机器学习-贝叶斯线性回归（4）-推导Prediction
机器学习-贝叶斯线性回归（4）-小结