最小二乘估计心得

基本思想

存在一组观察值$(x_i,y_i)$，其中$y_i$和$x_i$之间满足一定的线性关系，如
$$y=a_0{f}_0(x)+a_1{f}_1(x)+...+a_{m-1}{f}_{m-1}(x)$$
其中$f_i(x)$是已知的，$a_i$未知。
由于测量过程中存在一定的误差，所以导致测量得到的$y_i$具有一定的误差，即
$$y_i=a_0{f}_0(x_i)+a_1{f}_1(x_i)+...+a_{m-1}{f}_{m-1}(x_i)+e_i$$
假设，我们由$n$组观察值，将其写为矩阵的形式
$$\vec{y}=H\vec{a}+\vec{e}$$
$\vec{y}$和$\vec{e}$为一个$n\times 1$的向量，$\vec{a}$为$m\times 1$的向量，$H$为一个已知的$n\times m$的矩阵
( f 0 ( x 0 ) f 1 ( x 0 ) . . . f m − 1 ( x 0 ) f 0 ( x 1 ) f 1 ( x 1 ) . . . f m − 1 ( x 1 ) . . . . . . . . . . . . f 0 ( x n − 1 ) f 1 ( x n − 1 ) . . . f m − 1 ( x n − 1 ) )

​f0​(x0​)f0​(x1​)...f0​(xn−1​)​f1​(x0​)f1​(x1​)...f1​(xn−1​)​............​fm−1​(x0​)fm−1​(x1​)...fm−1​(xn−1​)​ ​
由于测量误差满足高斯分布，由最大似然估计可得，选取使得$|\vec{y}-H\vec{a}{|}^2$达到最小值的$\hat{a}$就是最真实$\vec{a}$的最优估计。

最小二乘估计表达式推导过程

令代价函数$L(\vec{a})=|\vec{y}-H\vec{a}{|}^2$，将$L(\vec{a})$对$\vec{a}$进行求导可得
$$\frac{\partial L(\vec{a})}{\partial \vec{a}}=-2H^T\vec{y}+2H^{T}H\vec{a}$$
令其为零可得
$$\hat{a}=(H^{T}H{)}^{-1}{H}^T\vec{y}$$

举例说明

利用matlab生成一组数据，满足如下的表达式
$$y=a_0{f}_0(x)+a_1{f}_1(x)+a_2{f}_2(x)+e(x)$$
其中$a_0=1$ , $a_1=2$, $a_2=10$, $f_0(x)=x$, $f_1(x)=e^x$, $f_2(x)=x^2$，$e(x)$服从标准正态分布

% 测试LSM算法
% f0 = 1; f1 = e^x; f2 = x^2
% a0 = 1; a1 = 2; a2 = 10
t = 0 : 0.01 : 3;
f0 = ones(1, length(t));
f1 = exp(t);
f2 = t.^2;
% f1 = t;
% f2 = t.^2;

a0 = 1;
a1 = 2;
a2 = 10;

H = [f0' f1' f2'];
y = a0*f0 + a1*f1 + a2*f2 + randn(1, length(t));
y = y';

est_a = inv(H'*H)*H'*y;

plot(y);
hold on
plot(est_a' * [f0;f1;f2]);
legend('带有噪声的观测量', '估计得到的观测量')
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24

得到的结果如下：
得到的$\hat{a}=[0.9807,1.9565,10.0977]$，可以看到能够较好地估计原理论值$\vec{a}=[1,2,10]$