机器学习笔记之线性回归——从概率密度函数角度认识岭回归

引言

上一节介绍了$L_2$正则化在线性回归中的应用——岭回归。本节将从概率密度函数的角度重新认识岭回归。

回顾

极大似然估计与最大后验概率估计

在极大似然估计与最大后验概率估计中介绍过，先验分布表示进行试验之前，通过 以往经验或者认知 角度得到的概率分布。
仍然以 投掷质地均匀硬币 为例，在我们投掷硬币之前，就已经在大脑中已经构思了一个概率分布：正面向上的概率=反面向上的概率=0.5。
而极大似然估计只认准 存在即合理，完全不顾先验知识。从而在有限样本的情况下，其计算的概率分布结果相较于 考虑了先验分布的最大后验概率估计的准确性要差一些。
示例：
投掷10次质地均匀的硬币，投掷结果仅包含 正面向上 和 反面向上 两种情况。投掷结果：正面向上$P(Up)=0.7$，反面向上$P(Down)=0.3$。设概率模型为$P(\mathcal{X}\mid \theta )$，分别使用极大似然估计和最大后验概率估计去计算投掷硬币事件的概率分布。

• 极大似然估计：
  $${\theta }_{MLE}=\underset{\theta }{\mathrm{argmax}}\log P(\mathcal{X}\mid \theta )=\underset{\theta }{\mathrm{argmax}}\log \left[{\theta }^7\times (1-\theta {)}^3\right]=0.7$$
• 最大后验概率估计：
  令先验分布$P(\theta )$是均值为0.5，方差为0.1的的高斯分布。
  $${\theta }_{MAP}\propto \underset{\theta }{\mathrm{argmax}}P(\mathcal{X}\mid \theta )P(\theta )=\underset{\theta }{\mathrm{argmax}}\left\{\left[{\theta }^7\times (1-\theta {)}^3\right]+\frac{1}{\sqrt{2\pi }\times 0.1}{e}^{-\frac{(\theta -0.5{)}^2}{0.02}}\right\}\approx 0.558$$

观察上述两个结果，有先验分布参与的最大后验概率估计得到的概率模型参数${\theta }_{MAP}$更接近常规思维下的认知。因此，在样本数量有限的情况下，最大后验概率估计对模型参数估计的准确性要优于极大似然估计。先验分布在整个过程中起到的作用主要是矫正似然估计的偏差。

概率密度角度认识最小二乘法

在从概率密度函数角度认识最小二乘法中介绍过，最小二乘法求解最优模型参数本质上是基于标签/因变量噪声属于均值为0高斯分布的极大似然估计结果。即：
$$\begin{gathered} y=f(\mathcal{W})+ϵ={\mathcal{W}}^T{x}^{(i)}+ϵ(i=1,2,\cdots ,N) \\ ϵ\sim \mathcal{N}(\mu ,{\sigma }^2)\to P(y^{(i)}\mid x^{(i)};\mathcal{W})\sim \mathcal{N}({\mathcal{W}}^T{x}^{(i)}+0,{\sigma }^2)(i=1,2,\cdots ,N) \end{gathered}$$
从上面公式中观察：$x^{(i)}(i=1,2,\cdots ,N)$，它可以被视为与变量$\mathcal{W}$进行线性计算的工具信息：$x^{(i)}$是样本提供的已知信息，而不是变量；

因此，干脆将$x^{(i)}(i=1,2,\cdots ,N)$看做常量，概率密度函数$P(y^{(i)}\mid x^{(i)};\mathcal{W})$化简为如下形式：
$$P(y^{(i)}\mid \mathcal{W})=\frac{1}{\sqrt{2\pi }\sigma }{e}^{-\frac{{\left(y^{(i)-{\mathcal{W}}^T{x}^{(i)}}\right)}^2}{2{\sigma }^2}}(i=1,2,\cdots ,N)$$

构建思路

既然在有限样本条件下，最大后验概率估计方法能够得到 更符合认知的、更准确的 模型参数估计结果。而此时的最小二乘法只是一个基于极大似然估计的模型参数结果，我们是否也可以通过最大后验概率估计方法去求解模型参数呢？

自然是可以的。但是条件不足——没有关于模型参数$\mathcal{W}$的先验分布。因此，我们对模型参数的先验分布进行假设：
假设模型参数$\mathcal{W}$服从均值为${\mu }_0$，方差为${\sigma }_0^2$的高斯分布。即：
$$\mathcal{W}\sim \mathcal{N}({\mu }_0,{\sigma }_0^2)$$
那么关于模型参数$\mathcal{W}$的先验分布$P(\mathcal{W})$的概率密度函数表示如下：
$$P(\mathcal{W})=\frac{1}{\sqrt{2\pi }{\sigma }_0}{e}^{-\frac{(\mathcal{W}-{\mu }_0{)}^2}{2{\sigma }_0^2}}$$

推导过程：

从最大后验估计方法求解最优模型参数${\hat{\mathcal{W}}}_{MAP}$的角度观察，它的底层思想自然是贝叶斯定理。基于模型参数$\mathcal{W}$的贝叶斯定理表示如下：
X = { x ( i ) } ∣ i = 1 , 2 , ⋯   , N \mathcal X = \{x^{(i)}\}|_{i=1,2,\cdots,N} X={x(i)}∣i=1,2,⋯,N​理解为常量，不显示；
$$P(\mathcal{W}\mid \mathcal{Y})=\frac{P(\mathcal{Y}\mid \mathcal{W})P(\mathcal{W})}{P(\mathcal{Y})}$$
对应的最大后验概率估计表示如下：
$${\hat{\mathcal{W}}}_{MAP}=\underset{\mathcal{W}}{\mathrm{argmax}}\frac{P(\mathcal{Y}\mid \mathcal{W})P(\mathcal{W})}{P(\mathcal{Y})}$$
由于分母$P(\mathcal{Y})$不含$\mathcal{W}$，因此上述公式等价于：
$${\hat{\mathcal{W}}}_{MAP}\propto P(\mathcal{Y}\mid \mathcal{W})P(\mathcal{W})$$

观察$P(\mathcal{Y}\mid \mathcal{W})$，它就是简化后的似然函数;$P(\mathcal{W})$自然是假设的先验分布。

将上述公式展开，为计算方便，添加一个 $\log$函数：
添加log函数原因详见传送门
$$\begin{array}{rl}{\hat{\mathcal{W}}}_{MAP}& \propto \underset{\mathcal{W}}{\mathrm{argmax}}\left[\log \prod _{i=1}^{N}P(y^{(i)}\mid \mathcal{W})P(\mathcal{W})\right]\\ & =\underset{\mathcal{W}}{\mathrm{argmax}}\left[\sum _{i=1}^N\log P(y^{(i)}\mid \mathcal{W})P(\mathcal{W})\right]\end{array}$$

根据上述$P(y^{(i}\mid \mathcal{W}),P(\mathcal{W})$的分布进行展开：
$$\begin{gathered} \underset{\mathcal{W}}{\mathrm{argmax}}\left[\sum _{i=1}^N\log \left(\left(\frac{1}{\sqrt{2\pi }\sigma }{e}^{-\frac{{\left(y^{(i)}-{\mathcal{W}}^T{x}^{(i)}\right)}^2}{2{\sigma }^2}}\right)\left(\frac{1}{\sqrt{2\pi }{\sigma }_0}{e}^{-\frac{(\mathcal{W}-{\mu }_0{)}^2}{2{\sigma }_0^2}}\right)\right)\right] \\ \underset{\mathcal{W}}{\mathrm{argmax}}\sum _{i=1}^N\log \left(\frac{1}{\sqrt{2\pi }\sigma }\right)+\log \left(\frac{1}{\sqrt{2\pi }{\sigma }_0}\right)+\log e^{-\frac{{\left(y^{(i)}-{\mathcal{W}}^T{x}^{(i)}\right)}^2}{2{\sigma }^2}}+\log e^{-\frac{(\mathcal{W}-{\mu }_0{)}^2}{2{\sigma }_0^2}} \end{gathered}$$
由于$\log \left(\frac{1}{\sqrt{2\pi }\sigma }\right)$和$\log \left(\frac{1}{\sqrt{2\pi }{\sigma }_0}\right)$内部均不含$\mathcal{W}$，因此其结果不影响$\mathcal{W}$的取值。消掉；$\log$和$e$消掉，化简得：
$$\begin{array}{r}\underset{\mathcal{W}}{\mathrm{argmax}}\sum _{i=1}^N\left(-\frac{{\left(y^{(i)}-{\mathcal{W}}^T{x}^{(i)}\right)}^2}{2{\sigma }^2}-\frac{(\mathcal{W}-{\mu }_0{)}^2}{2{\sigma }_0^2}\right)\\ \underset{\mathcal{W}}{\mathrm{argmin}}\sum _{i=1}^N\left(\frac{(\mathcal{W}-{\mu }_0{)}^2}{2{\sigma }_0^2}+\frac{{\left(y^{(i)}-{\mathcal{W}}^T{x}^{(i)}\right)}^2}{2{\sigma }^2}\right)\end{array}$$

整理一下分母，将整个式子乘以$2{\sigma }^2$($\sigma$不影响最优模型参数的求解)：

$$\underset{\mathcal{W}}{\mathrm{argmin}}\sum _{i=1}^N\left[{\left(y^{(i)}-{\mathcal{W}}^T{x}^{(i)}\right)}^2+\frac{{\sigma }^2}{{\sigma }_0^2}(\mathcal{W}-{\mu }_0{)}^2\right]$$

发现：当${\mu }_0=0$时，$(\mathcal{W}-{\mu }_0{)}^2={\mathcal{W}}^2$，由于$\mathcal{W}$自身是$p$维向量，${\mathcal{W}}^2$表示为：
$${\mathcal{W}}^2={\mathcal{W}}^T\mathcal{W}=w_1^2+w_2^2+\cdots +w_p^2=||\mathcal{W}|{|}_2^2$$

令$\lambda =\frac{{\sigma }^2}{{\sigma }_0^2}$最终表示结果为：
$${\hat{\mathcal{W}}}_{MAP}=\underset{\mathcal{W}}{\mathrm{argmin}}\sum _{i=1}^N\left[{\left(y^{(i)}-{\mathcal{W}}^T{x}^{(i)}\right)}^2+\lambda ||\mathcal{W}|{|}_2^2\right]$$

我们发现，岭回归可以理解为：概率模型$P(\mathcal{Y}\mid \mathcal{W})\sim \mathcal{N}({\mathcal{W}}^T\mathcal{X},{\sigma }^2)$，先验分布$P(\mathcal{W})\sim \mathcal{N}({\mu }_0=0,{\sigma }_0^2)$条件下，使用最大后验概率估计方法去计算最优模型参数。 相比于极大似然估计方法的最小二乘法计算结果要更加准确。

在深度学习中，模型经过反向传播，每一次反向传播都会更新模型参数；而下一次更新结果都会以当前反向传播的更新结果作为先验分布，从而参与模型参数$\mathcal{W}$的迭代更新。

相关参考：
概率密度角度观察岭回归