【白板推导系列笔记】线性回归-正则化-岭回归-频率角度

在之前已知
L o s s   F u n c t i o n : L ( ω ) = ∑ i = 1 N ∣ ∣ ω T x i − y i ∣ ∣ 2 解得 ω ^ = ( X T X ) − 1 X T Y

Loss Function:L(ω)=i=1∑N​∣∣ωTxi​−yi​∣∣2解得ω^=(XTX)−1XTY​

在实际应用时，如果样本容量不远远大于样本的特征维度，很可能造成过拟合，对这种情况，我们有下面三个解决方式：

1. 加数据
2. 特征选择（降低特征维度）如 PCA 算法。
3. 正则化

正则化一般是在损失函数（如上面介绍的最小二乘损失）上加入正则化项（表示模型的复杂度对模型的惩罚）

作者：tsyw
链接：线性回归 · 语雀 (yuque.com)

一般的，正则化框架有
$$\underset{\omega }{\mathrm{argmin}}[\underset{Loss}{\underbrace{L(\omega )}}+\underset{penalty}{\underbrace{\lambda P(\omega )}}]$$
当使用L1 Lasso时，对应正则化框架
$$\underset{\omega }{\mathrm{argmin}}[\underset{Loss}{\underbrace{L(\omega )}}+||\omega |{|}_1]$$
当使用L2 Ridge（岭回归）时，对应正则化框架
$$\underset{\omega }{\mathrm{argmin}}[\underset{Loss}{\underbrace{L(\omega )}}+||\omega |{|}_2^2]=\underset{\omega }{\mathrm{argmin}}[\underset{Loss}{\underbrace{L(\omega )}}+{\omega }^T\omega ]$$

对于L2 Ridge，估计$\hat{\omega }$有
J ( ω ) = ∑ i = 1 N ∣ ∣ ω T x i − y i ∣ ∣ 2 + λ ω T ω = ( ω T X T − Y T ) ( X ω − Y ) + λ ω T ω = ω T X T X ω − 2 ω T X T Y + Y T T + λ ω T ω = ω T ( X T X + λ I ) ω − 2 ω T X T Y + Y T Y ω ^ = a r g m i n ω J ( ω ) ∂ J ( ω ) ∂ ω = 2 ( X T X + λ I ) ω − 2 X T Y 2 ( X T X + λ I ) ω − 2 X T Y = 0 ω ^ = ( X T X + λ I ) − 1 X T Y

J(ω)ω^∂ω∂J(ω)​2(XTX+λI)ω−2XTYω^​=i=1∑N​∣∣ωTxi​−yi​∣∣2+λωTω=(ωTXT−YT)(Xω−Y)+λωTω=ωTXTXω−2ωTXTY+YTT+λωTω=ωT(XTX+λI)ω−2ωTXTY+YTY=ωargmin​J(ω)=2(XTX+λI)ω−2XTY=0=(XTX+λI)−1XTY​

利用2范数进行正则化不仅可以使模型选择$\omega$较小的参数，同时也避免$X^{T}X$不可逆的问题

作者：tsyw
链接：线性回归 · 语雀 (yuque.com)

在前面已经知道
y = f ( ω ) + ϵ = ω T x + ϵ ϵ ∼ ( 0 , σ 2 ) y ∣ x ; ω ∼ N ( ω T x , σ 2 )

y=f(ω)+ϵ=ωTx+ϵϵ∼(0,σ2)y∣x;ω∼N(ωTx,σ2)​
假设权重先验也为高斯分布，即取先验分布$\omega \sim N(0,{\sigma }_0^2)$，又有
p ( y ∣ ω ) = 1 2 π σ exp [ − ( y − ω T x ) 2 2 σ 2 ] p ( ω ) = 1 2 π σ 0 exp [ − ∣ ∣ ω ∣ ∣ 2 2 σ 0 2 ] p ( ω ∣ y ) = p ( y ∣ ω ) p ( ω ) p ( y )

p(y|ω)=12πσexp[−(y−ωTx)22σ2]p(ω)=12πσ0exp[−||ω||22σ02]p(ω|y)=p(y|ω)p(ω)p(y)" role="presentation">p(y|ω)p(ω)p(ω|y)=12π−−√σexp[−(y−ωTx)22σ2]=12π−−√σ0exp[−||ω||22σ20]=p(y|ω)p(ω)p(y)$$\begin{array}{rl}p(y|\omega )& =\frac{1}{\sqrt{2\pi }\sigma }\text{exp}\left[-\frac{(y-{\omega }^{T}x{)}^2}{2{\sigma }^2}\right]\\ p(\omega )& =\frac{1}{\sqrt{2\pi }{\sigma }_0}\text{exp}\left[-\frac{||\omega |{|}^2}{2{\sigma }_0^2}\right]\\ p(\omega |y)& =\frac{p(y|\omega )p(\omega )}{p(y)}\end{array}$$

p(y∣ω)p(ω)p(ω∣y)​=2π ​σ1​exp[−2σ2(y−ωTx)2​]=2π ​σ0​1​exp[−2σ02​∣∣ω∣∣2​]=p(y)p(y∣ω)p(ω)​​
因此对于$\omega$的最大后验，有
ω ^ = a r g m a x   ω p ( ω ∣ y ) 这里应该是 ∏ i = 1 N p ( ω ∣ y i ) , 但最后再写不影响 = a r g m a x   ω p ( y ∣ ω ) ⋅ p ( ω ) = a r g m a x   ω log ⁡ [ p ( y ∣ ω ) ⋅ p ( ω ) ] = a r g m a x   ω log ⁡ ( 1 2 π σ 1 2 π σ 0 ) + log ⁡ exp [ − ( y − ω T x ) 2 2 σ 2 − ∣ ∣ ω ∣ ∣ 2 2 σ 0 2 ] = a r g m i n   ω [ ( y − ω T x ) 2 2 σ 2 + ∣ ∣ ω ∣ ∣ 2 2 σ 0 2 ] = a r g m i n   ω [ ( y − ω T x ) 2 + σ 2 σ 0 2 ∣ ∣ ω ∣ ∣ 2 ] = a r g m i n   ω [ ∑ i = 1 N ( y i − ω T x i ) 2 + σ 2 σ 0 2 ∣ ∣ ω ∣ ∣ 2 ]

ω^=argmax ω⁡p(ω|y)这里应该是∏i=1Np(ω|yi),但最后再写不影响=argmax ω⁡p(y|ω)⋅p(ω)=argmax ω⁡log⁡[p(y|ω)⋅p(ω)]=argmax ω⁡log⁡(12πσ12πσ0)+log⁡exp[−(y−ωTx)22σ2−||ω||22σ02]=argmin ω⁡[(y−ωTx)22σ2+||ω||22σ02]=argmin ω⁡[(y−ωTx)2+σ2σ02||ω||2]=argmin ω⁡[∑i=1N(yi−ωTxi)2+σ2σ02||ω||2]" role="presentation">ω^=argmax ωp(ω|y)这里应该是∏i=1Np(ω|yi),但最后再写不影响=argmax ωp(y|ω)⋅p(ω)=argmax ωlog[p(y|ω)⋅p(ω)]=argmax ωlog(12π−−√σ12π−−√σ0)+logexp[−(y−ωTx)22σ2−||ω||22σ20]=argmin ω[(y−ωTx)22σ2+||ω||22σ20]=argmin ω[(y−ωTx)2+σ2σ20||ω||2]=argmin ω[∑i=1N(yi−ωTxi)2+σ2σ20||ω||2]$$\begin{array}{rl}\hat{\omega }& =\underset{\omega }{argmax}p(\omega |y)这里应该是\prod _{i=1}^{N}p(\omega |y_i),但最后再写不影响\\ & =\underset{\omega }{argmax}p(y|\omega )\cdot p(\omega )\\ & =\underset{\omega }{argmax}\log [p(y|\omega )\cdot p(\omega )]\\ & =\underset{\omega }{argmax}\log \left(\frac{1}{\sqrt{2\pi }\sigma }\frac{1}{\sqrt{2\pi }{\sigma }_0}\right)+\log \text{exp}\left[-\frac{(y-{\omega }^{T}x{)}^2}{2{\sigma }^2}-\frac{||\omega |{|}^2}{2{\sigma }_0^2}\right]\\ & =\underset{\omega }{argmin}\left[\frac{(y-{\omega }^{T}x{)}^2}{2{\sigma }^2}+\frac{||\omega |{|}^2}{2{\sigma }_0^2}\right]\\ & =\underset{\omega }{argmin}\left[(y-{\omega }^{T}x{)}^2+\frac{{\sigma }^2}{{\sigma }_0^2}||\omega |{|}^2\right]\\ & =\underset{\omega }{argmin}\left[\sum _{i=1}^N(y_i-{\omega }^T{x}_i{)}^2+\frac{{\sigma }^2}{{\sigma }_0^2}||\omega |{|}^2\right]\end{array}$$

ω^​=ωargmax ​p(ω∣y)这里应该是i=1∏N​p(ω∣yi​),但最后再写不影响=ωargmax ​p(y∣ω)⋅p(ω)=ωargmax ​log[p(y∣ω)⋅p(ω)]=ωargmax ​log(2π ​σ1​2π ​σ0​1​)+logexp[−2σ2(y−ωTx)2​−2σ02​∣∣ω∣∣2​]=ωargmin ​[2σ2(y−ωTx)2​+2σ02​∣∣ω∣∣2​]=ωargmin ​[(y−ωTx)2+σ02​σ2​∣∣ω∣∣2]=ωargmin ​[i=1∑N​(yi​−ωTxi​)2+σ02​σ2​∣∣ω∣∣2]​
从这里就可以看出，正则化后的最小二乘估计等价于噪声为高斯分布、先验分布为高斯分布的最大后验
再加上之前的，没有正则化的最小二乘估计等价于噪声为高斯分布的极大似然估计

我们可以按照下⾯的⽅式表述贝叶斯定理。如果在我们知道⽔果的种类之前，有⼈问我们哪个盒⼦被选中，那么我们能够得到的最多的信息就是概率p(B)。我们把这个叫做先验概率（prior probability），因为它是在我们观察到⽔果种类之前就能够得到的概率。⼀旦我们知道⽔果是橘⼦，我们就能够使⽤贝叶斯定理来计算概率p(B | F )。这个被称为后验概率（posterior probability），因为它是我们观察到F之后的概率。注意，在这个例⼦中，选择红盒⼦的先验概率是 $\frac{4}{10}$，所以与红盒⼦相⽐，我们更有可能选择蓝盒⼦。然⽽，⼀旦我们观察到选择的⽔果是橘⼦，我们发现红盒⼦的后验概率现在是$\frac{2}{3}$，因此现在实际上更可能选择的是红盒⼦。这个结果与我们的直觉相符，因为红盒⼦中橘⼦的⽐例⽐蓝盒⼦⾼得多，因此观察到⽔果是橘⼦这件事提供给我们更强的证据来选择红盒⼦。事实上，这个证据相当强，已经超过了先验的假设，使得红盒⼦被选择的可能性⼤于蓝盒⼦。

来源：《PRML Translation》-P19
作者：马春鹏
原著：《Pattern Recognition and Machine Learning》
作者：Christopher M. Bishop

小结
线性回归模型是最简单的模型，但是麻雀虽小，五脏俱全，在这里，我们利用最小二乘误差得到了闭式解。同时也发现，在噪声为高斯分布的时候，MLE 的解等价于最小二乘误差，而增加了正则项后，最小二乘误差加上 L2 正则项等价于高斯噪声先验下的 MAP解，加上 L1 正则项后，等价于 Laplace 噪声先验。

作者：tsyw
链接：线性回归 · 语雀 (yuque.com)

该部分在PRML中P27,28页中有提到

CSDN话题挑战赛第2期
参赛话题：学习笔记