徐亦达机器学习：Kalman Filter 卡尔曼滤波笔记 (一)

{ P ( y 1 , . . . , y t ) − − e v a l u a t i o n a r g m e n t θ log ⁡ P ( y 1 , . . . , y t ∣ θ ) − − p a r a m e t e r l e a r n i n g P ( x 1 , . . . , x t ∣ y 1 , . . . , y t ) − s t a t e d e c o d i n g P ( x t ∣ y 1 , . . , y t ) − f i l t e r i n g \left\{

\right. ⎩ ⎨ ⎧​P(y1​,...,yt​)−−evaluationargmentθlogP(y1,...,yt​∣θ)−−parameterlearningP(x1​,...,xt​∣y1​,...,yt​)−statedecodingP(xt​∣y1​,..,yt​)−filtering​

线性高斯噪声的动态模型

$P(x_t|y_1,...,y_t)$
假设转移概率是$P(x_t|X_{t-1})=N(A{X}_{t-1}+B,Q)$
$X_t=A{X}_{t-1}+B+\omega$ , $\omega \sim N(0,Q)$

measurement probility
$P(y_t|x_t)=N(H{X}_t+C,R)$
$y_t=H{X}_t+C+v$
$v\sim N(0,R)$
以下都是参数。

filter公式推导

HMM模型，当隐变量确定的时候，观测就变成独立的了。

• 卡尔曼滤波，当t = 1的时候，我们就知道 $P(x_1|y_1)\sim N({\hat{u}}_1,{\hat{\sigma }}_1)$
• t = 2的时候，$P(x_2|y_2)\sim N({\overline{u}}_2,{\overline{\sigma }}_2)$
  

个人理解

• 卡尔曼滤波可以理解为滤波器的一种，用数学表达就是用观测量$y_1,y_2,y_3...,y_t$来获得t时刻的估计量$x_t$，数学公式为
  $P(x_t|y_1,...,y_t)$正比与$P(x_t,y_1,...,y_t)$可以理解为前置条件$y_1,...,y_t$发生的条件下有发生$x_t$的概率与两类事件同时发生的概率是成正比的。可以简单理解为$P(A|B)$与$P(A,B)$成正比。
• 那么得出 $P(x_t|y_1,...,y_t)\propto P(x_t,y_1,...,y_t)\propto P(y_t|x_t,y_1,...,y_{t-1})\ast P(x_t|y_1,...,y_{t-1})$
• 有HMM可以得知，$P(y_t)$发生的概率是只跟$x_t$相关，因此$P(y_t|x_t,y_1,...,y_t-1)=P(y_t|x_t)$,而$x_t$的估计量，是通过上一次观测获得，$x_t$与$y_1,...,y_{t-1}$相关。
• 那么得出预测为$P(x_t|y_1,...,y_{t-1})$，前t-1时刻的观测值估计下一刻t的状态。
• 将$x_t$看为常量，将$x_{t-1}$看为变量，那么就得到了预测公式的推导公式为$P(x_t|y_1,...,y_{t-1})={\int }_{d(x_{t-1})}P(x_t,x_{t-1}|y_1,...,y_t)d{x}_{t-1}\propto {\int }_{x_{t-1}}P(x_t|x_{t-1})P(x_{t-1}|y_1,...,y_{t-1})d(x_{t-1})$
  

总结

• 预测：不知道当前时刻的观测，用上一时刻观测与预测当前时刻的状态
  $P(x_t|y_1,...,y_{t-1})=\int P(x_t|x_{t-1})P(x_{t-1}|y_1,...,y_{t-1})$
• 更新：已经知道当前时刻的观测，用当前的观测更新当前可是的状态
  $P(x_t|y_1,...,y_t)=P(y_t|x_t)P(x_t|y_1,...,y_{t-1})$
  

结论

• $x_t|y_1,...,y_{t-1}=AE[x_{t-1}]+A\Delta X_{t-1}+\omega$ $=E[x_t]+\Delta x_t$
• $y_t|y_1,...y_{t-1}=HAE[X_{t-1}]+HA\Delta x_{t-1}+H\omega +v=E[y_t]+\Delta y_t$
• $P(x_t|y_1,...,y_t)=N(AE[x_{t-1}],E[(\Delta x)(\Delta x{)}^T])$
• $P(y_t|y1,...,y_{t-1})=N(HAE[X_{t-1}],E[(\Delta y)(\Delta y{)}^T])$
  以上为边缘分布
  $$P(x_t,y_t|y_1,...,y_{t-1})$$
  

非线性非高斯噪声的动态模型