拉格朗日乘子法、极大似然估计、EM算法

基本概念：

拉格朗日乘子法和极大似然估计有什么关系？

拉格朗日乘子用于带约束的优化问题，极大似然估计用于最大化后验概率求参数问题。

极大似然和EM有什么关系？

极大似然估计适合求解不含隐变量的参数问题，而EM算法是用于求解含有隐变量的参数问题。

拉格朗日乘子法：

求$z=f(x,y)$在约束条件$\phi (x,y)=0$与$h(x,y)=0$下的极值：

1、拉格朗日函数：
$$F(x,y,\lambda ,\mu )=f(x,y)+\lambda \phi (x,y)+\mu h(x,y)$$
2、求偏导等于0的方程组：
$$\{\begin{array}{r}{F}_x^{{}^{\prime }}=0\\ F_y^{{}^{\prime }}=0\\ F_{\phi }^{{}^{\prime }}=0\\ F_{\mu }^{{}^{\prime }}=0\end{array}$$

极大似然估计法：

在给定概率模型和一组相互独立的观测样本$x_1,x_2,\cdots ,x_n$的基础上，求解使得似然函数$L(\theta )$：

1、写出似然函数：

连续型：
$$L(\theta )=L(x_1,x_2,\cdots ,x_n;\theta )=\prod _{i=1}^{n}f(x_i|\theta )$$
离散型：
$$L(\theta )=L(x_1,x_2,\cdots ,x_n;\theta )=\prod _{i=1}^{n}p(x_i|\theta )$$
2、取对数：

连续型：
$$ln[L(\theta )]=ln[\prod _{i=1}^{n}f(x_i|\theta )]=\sum _{i=1}^{n}ln[f(x_i|\theta )]$$
离散型：
$$ln[L(\theta )]=ln[\prod _{i=1}^{n}p(x_i|\theta )]=\sum _{i=1}^{n}ln[p(x_i|\theta )]$$

3、求$\theta =[{\theta }_1,{\theta }_2,\cdots ,{\theta }_m]$的偏导数：
$$\{\begin{array}{r}\frac{\partial ln({\theta }_1,{\theta }_2,\cdots ,{\theta }_m)}{\partial {\theta }_1}=0\\ \frac{\partial ln({\theta }_1,{\theta }_2,\cdots ,{\theta }_m)}{\partial {\theta }_2}=0\\ \cdots \\ \frac{\partial ln({\theta }_1,{\theta }_2,\cdots ,{\theta }_m)}{\partial {\theta }_m}=0\end{array}$$

EM算法：

隐变量指的是在事件发生时不知道的变量，例如抛硬币，两枚硬币的质量是不均匀的，不知道到每次取出的是哪一枚。

使用EM算法能解决隐变量问题。EM算法由求期望和求最值两步推导得来：

$X$:观测数据；$Z$：隐变量；$\theta$：待估计参数；
$${\theta }^{(t+1)}=\underset{\theta }{\mathrm{argmax}}{\int }_{Z}p(Z|X,{\theta }^{(t)})log[p(X,Z|{\theta }^{(t)})]dZ$$
若是离散变量：
θ ( t + 1 ) = a r g m a x θ ∑ Z { ∏ i = 1 N p ( z i ∣ x i , θ ( t ) ) l o g [ ∏ i = 1 N p ( x i , z i ∣ θ ( t ) ) ] } \theta^{(t+1)}=\mathop{argmax}\limits_{\theta} \sum_{Z}\{ \prod_{i=1}^{N}{p(z_i|x_i,\theta^{(t)})log[\prod_{i=1}^{N}p(x_i,z_i|\theta^{(t)})]}\} θ(t+1)=θargmax​Z∑​{i=1∏N​p(zi​∣xi​,θ(t))log[i=1∏N​p(xi​,zi​∣θ(t))]}