最大似然估计的理解

最大似然估计

1. 最大似然估计的概念
   最大似然估计是一种概率论在统计学上的概念，是参数估计的一种方法。给定观测数据来评估模型参数。也就是模型已知，参数未定。
   已知某个随机样本满足某种概率分布，但是其中具体参数不太清楚，参数估计通过若干次的实验，观察其结果，利用结推出参数的大概值。最大似然估计是建立在这样的思想上：已知某个参数能使这个样本出现的概率最大，我们当然不会再去选择其他小概率的样本，所以干脆值把这个参数作为估计的真实值。
2. 概念
   最大似然估计是建立在最大似然原理的基础上。
   最大似然原理：设一个随机实验有若干个可能出现的结果A1、A2、…、An，在一次实验中，结果Ak出现，则认为实验Ak的出现最有利，即Ak出现概率较大。这里用到概率最大概率最可能出现的直观想法，然后对Ak出现的概率公式求极大值，这样便可解未知参数。
3. 最大似然估计定义
   最有可能的情况（即找出与样本分布最接近的概率分布模型）
4. 似然函数
   它是一种关于统计模型中的参数的函数，表示模型参数的似然性(likelyhood)，“似然性”它 与 ("或然性"或 “概率性”或”概率“)意思相近，都是指事件发生的可能性。但是 似然性 和 概率 在统计学中还是有明确的区分：
   概率：在参数已知的情况下，预测观测结果；
   似然性：在观测结果已知的情况下，对参数进行估值和猜测。
   们也可以将似然函数理解为条件概率的逆反。在已知某个参数B时，事情A会发生的概率为：
   

贝叶斯定理得：

我们可以反过来构造来表示似然性的方法：已知有事情A发生，运用似然函数 L ( B ∣ A ) L(B|A)L(B∣A)，我们估计参数B的不同值的可能性。形式上，似然函数也是一种条件概率函数，但是我们关注的变量改变了。

注意： 这里并不要求似然函数满足归一性：即

一个似然函数乘以一个正的常数之后仍然是似然函数。对所有的α > 0 \alpha>0α>0，都可以有似然函数：

其中，