参数估计（点估计和区间估计）

参数估计（点估计和区间估计）

1.1 点估计

点估计的理解示意图
下图中样本均值就是对总体均值的点估计

1.1.1 矩估计

关于什么是矩？可以参考马同学。传送门：如何理解概率论中的“矩”？
根据大数定律，样本矩会依概率收敛于总体矩，故可以用样本矩替代总体矩，从而完成对总体参数的点估计
$$\begin{gathered} \bar{X}=\frac{1}{n}\sum _{i=1}^n{X}_i\stackrel{P}{\to }EX \\ {A}_2=\frac{1}{n}\sum _{i=1}^n{X}_i^2\stackrel{P}{\to }E{X}^2 \\ {B}_2=\frac{1}{n}\sum _{i=1}^n(X_i-\bar{X}{)}^2\stackrel{P}{\to }DX \end{gathered}$$

1.1.2 最大似然估计（MLE）

关于什么是似然？之前笔者大概了解了一下，但并不深入。传送门：区分概率与似然

似然函数$L(\theta )$指的是样本（$X_n$）取到观测值（$x_n$）的概率
离散型
L ( θ ) = P { X 1 = x 1 ， X 2 = x 2 ， ⋯ ， X n = x n } = 独立 P { X 1 = x 1 } P { X 2 = x 2 } ⋯ P { X n = x n }

L(θ)​=P{X1​=x1​，X2​=x2​，⋯，Xn​=xn​}=独立P{X1​=x1​}P{X2​=x2​}⋯P{Xn​=xn​}​
连续型（样本落在观测值邻域内的概率）

L ( θ ) = P { X 1 ∈ U ( x 1 ) ， X 2 ∈ U ( x 2 ) ， ⋯ ， X n ∈ U ( x n ) } = f ( x 1 , θ ) Δ x 1 ⋅ f ( x 2 , θ ) Δ x 2 ⋯ f ( x n , θ ) Δ x n = f ( x 1 , θ ) f ( x 2 , θ ) ⋯ f ( x n , θ ) ⋅ Δ x 1 Δ x 2 ⋯ Δ x n Δ x 1 Δ x 2 ⋯ Δ x n 与 θ 无关，丢弃 L ( θ ) = f ( x 1 , θ ) f ( x 2 , θ ) ⋯ f ( x n , θ )

L(θ)L(θ)​=P{X1​∈U(x1​)，X2​∈U(x2​)，⋯，Xn​∈U(xn​)}=f(x1​,θ)Δx1​⋅f(x2​,θ)Δx2​⋯f(xn​,θ)Δxn​=f(x1​,θ)f(x2​,θ)⋯f(xn​,θ)⋅Δx1​Δx2​⋯Δxn​Δx1​Δx2​⋯Δxn​与θ无关，丢弃=f(x1​,θ)f(x2​,θ)⋯f(xn​,θ)​
最大似然的思想：概率越大的事情频率越高

引例：假设箱子内5个球，随机摸球10次，每次摸1个，摸后放回，共10次，若出现2黑8红，估计这个箱子中1黑4红，当然这个估计可能是错的，也可能是其他情况，但也不影响最大似然的正确性，只是说出现1黑4红这种情况的概率是最大的。

求最大似然步骤
在 $\theta$ 的取值范围内找 $\hat{\theta }$ 使得 $L(\hat{\theta })$ 最大

1.1.3 估计量的评选标准

未知参数 $\theta$ 的估计量 $\hat{\theta }$，判断这个估计量准不准有三个标准
无偏性

若 $E(\hat{\theta })=\theta$，则 $\hat{\theta }$ 是 $\theta$ 的无偏估计量

未知参数的无偏估计量不唯一
无论何种总体，都有以下结论

注意：
若 $\hat{\theta }$ 是 $\theta$ 的无偏估计量，则 $g(\hat{\theta })$ 未必是 $g(\theta )$ 的无偏估计

有效性

$\widehat{{\theta }_1}、\widehat{{\theta }_2}$均为 $\theta$ 的无偏估计（有效性的前提是要有无偏性），若 $D(\widehat{{\theta }_1})\le D(\widehat{{\theta }_2})$，则称 $\widehat{{\theta }_1}$ 比 $\widehat{{\theta }_2}$ 更有效

一致性

若 $\hat{\theta }\stackrel{P}{\to }\theta$（依概率收敛）则称 $\hat{\theta }$ 是 $\theta$ 的一致估计量

1.2 区间估计

区间估计：估计总体参数的范围
区间估计的大致步骤：

置信区间 $(\widehat{{\theta }_1}，\widehat{{\theta }_2})$
置信下限：$\widehat{{\theta }_1}$、置信上限：$\widehat{{\theta }_2}$
置信度/置信水平：$1-\alpha$

总体X含未知参数$\theta$，$X_1，X_2，\cdots ，X_n$是来自总体X的样本，对于给定的$\alpha$（值很小，$0<\alpha <1$），若有两个统计量满足：
P { θ 1 ^ < θ < θ 2 ^ } = 1 − α P\{\hat{\theta_1}<\theta<\hat{\theta_2}\}=1-\alpha P{θ1​^​<θ<θ2​^​}=1−α
随机区间包含总体参数的可信度为$1-\alpha$

下图来自《统计学图鉴》

求置信区间的方法

选取置信下限a和置信上限b的原则

正态总体下参数 $\mu 、{\sigma }^2$ 的置信区间
常见样本统计量服从的分布详见本人博客：正态总体下常见的抽样分布

在${\sigma }^2$已知或未知情况下求$\mu$
（1）${\sigma }^2$已知时，$\mu$的置信度为$1-\alpha$的置信区间为：

标准正态分布中当 $\alpha =0.5$ 时，$\alpha /2=0.025$，$U_{\alpha /2}=1.96$

（2）${\sigma }^2$未知时，$\mu$的置信度为$1-\alpha$的置信区间为：

在$\mu$已知或未知情况下求${\sigma }^2$
（1）$\mu$已知时，求${\sigma }^2$的置信度为$1-\alpha$的置信区间为：

（2）$\mu$未知时，求${\sigma }^2$的置信度为$1-\alpha$的置信区间为：

小结：各种情况下，统计量的选取