最小二乘法与极大似然估计

本文以线性回归模型为例，介绍了两种参数估计方法，即最小二乘法和极大似然估计法，阐述了两者之间的区别与联系。

一、最小二乘法

最小二乘法，又称最小平方法，通过最小化误差平方和得到参数估计值，使得模型能够最好地拟合样本数据。

已知$N$组数据 D = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , ⋯   , ( x N , y N ) } {D=\{(x_1, y_1), (x_2, y_2), \cdots, (x_N, y_N)\}} D={(x1​,y1​),(x2​,y2​),⋯,(xN​,yN​)}，其中$x_i=(x_{i1},x_{i2},\cdots ,x_{ip}{)}^T$，$p$表示有$p$个特征，设参数$w=(w_1,w_2,\cdots ,w_p{)}^T$。

最小二乘法的目标函数是
$$L(w)=\sum _{i=1}^N||w^T{x}_i-y_i|{|}^2$$
令$X=(x_1,x_2,\cdots ,x_N{)}^T$，$Y=(y_1,y_2,\cdots ,y_N{)}^T$，$X$为$N\times p$维，$Y$为$N\times 1$维，$w$为$p\times 1$维，将$L(w)$表达为矩阵形式：
L ( w ) = ∑ i = 1 N ∣ ∣ w T x i − y i ∣ ∣ 2 = ∑ i = 1 N ( w T x i − y i ) 2 = ( w T x 1 − y 1 , ⋯   , w T x N − y N ) ⋅ ( w T x 1 − y 1 , ⋯   , w T x N − y N ) T = ( w T X T − Y T ) ⋅ ( w T X T − Y T ) T = ( w T X T − Y T ) ⋅ ( X w − Y ) = w T X T X w − w T X T Y − Y T X w + Y T Y = w T X T X w − 2 w T X T Y + Y T Y

L(w)​=i=1∑N​∣∣wTxi​−yi​∣∣2=i=1∑N​(wTxi​−yi​)2=(wTx1​−y1​,⋯,wTxN​−yN​)⋅(wTx1​−y1​,⋯,wTxN​−yN​)T=(wTXT−YT)⋅(wTXT−YT)T=(wTXT−YT)⋅(Xw−Y)=wTXTXw−wTXTY−YTXw+YTY=wTXTXw−2wTXTY+YTY​

要使得$L(w)$最小，得到参数$\hat{w}=argminL(w)$
$$\begin{gathered} \frac{\partial L(w)}{\partial w}=2X^{T}Xw-2X^{T}Y=0 \\ {X}^{T}Xw=X^{T}Y \\ w=(X^{T}X{)}^{-1}{X}^{T}Y \end{gathered}$$
如果矩阵$X^{T}X$非奇异，则$w$有唯一解。

二、极大似然估计

极大似然估计的目标是通过选择参数，使得从模型中抽取N组样本观测值的概率最大，即使得样本出现的可能性最大。

似然函数$L(w|x_1,\cdots ,x_N)$，简记为$L(w)$：
$$L(w)=p(x_1,x_2,\cdots ,x_N|w)$$
可以理解为当参数为$w$时，各组样本同时出现的概率。

假设样本独立同分布，似然函数可写为：
$$\begin{gathered} L(w)=p(x_1,x_2,\cdots ,x_N|w) \\ =p(x_1|w)p(x_2|w)\cdots p(x_N|w) \end{gathered}$$

下面为线性回归中使用极大似然估计的例子：

假设预测值$w^T{x}_i$与真实值$y_i$之间的误差${\xi }_i$服从均值为0，方差为${\sigma }^2$的正态分布，即
$${\xi }_i\sim N(0,{\sigma }^2)$$
${\xi }_i$的概率密度函数为:
$$p({\xi }_i)=\frac{1}{\sqrt{2\pi }\sigma }{e}^{-\frac{{\xi }_i^2}{2{\sigma }^2}}$$
将${\xi }_i=y_i-w^T{x}_i$代入得：
$$p(y_i\mid x_i;w)=\frac{1}{\sqrt{2\pi }\sigma }{e}^{-\frac{(y_i-w^T{x}_i{)}^2}{2{\sigma }^2}}$$
$p(y_i\mid x_i;w)$可以理解为当参数为$w$时，若给定$x_i$，则$y_i$出现的概率。

给定N个样本，似然函数为：
L ( w ) = l o g ∏ i = 1 N p ( y i ∣ x i ; w ) = ∑ i = 1 N ( l o g 1 2 π σ + l o g ( e − ( y i − w T x i ) 2 2 σ 2 ) ) = ∑ i = 1 N ( l o g 1 2 π σ − ( y i − w T x i ) 2 2 σ 2 ) = N l o g 1 2 π σ − 1 2 σ 2 ∑ i = 1 N ( y i − w T x i ) 2

L(w)​=logi=1∏N​p(yi​∣xi​;w)=i=1∑N​(log2π ​σ1​+log(e−2σ2(yi​−wTxi​)2​))=i=1∑N​(log2π ​σ1​−2σ2(yi​−wTxi​)2​)=Nlog2π ​σ1​−2σ21​i=1∑N​(yi​−wTxi​)2​
要使得似然函数取最大值：
w ^ = a r g m a x   L ( w ) = a r g m a x   − 1 2 σ 2 ∑ i = 1 N ( y i − w T x i ) 2 = a r g m i n   ∑ i = 1 N ( y i − w T x i ) 2

w^=argmax L(w)=argmax −12σ2∑i=1N(yi−wTxi)2=argmin ∑i=1N(yi−wTxi)2$$\begin{array}{rl}\hat{w}& =argmaxL(w)\\ & =argmax-\frac{1}{2{\sigma }^2}\sum _{i=1}^N(y_i-w^T{x}_i{)}^2\\ & =argmin\sum _{i=1}^N(y_i-w^T{x}_i{)}^2\end{array}$$

w^​=argmax L(w)=argmax −2σ21​i=1∑N​(yi​−wTxi​)2=argmin i=1∑N​(yi​−wTxi​)2​
可以发现，在假定样本独立同分布且误差$\xi$服从$N(0,{\sigma }^2)$的前提下，极大似然估计最终的目标函数与最小二乘法的相同。

三、总结

1. 最小二乘法的出发点在于找到合适的参数去拟合样本数据，最小化损失函数，使预测值与真实值之间的误差最小。

2. 极大似然估计的出发点在于找到合适的参数，使样本出现的可能性最大，以最大化似然概率函数为目标。

3. 在假定样本独立同分布且误差服从$N(0,{\sigma }^2)$的前提下，极大似然估计和最小二乘法最终的目标函数相同。