PT_参数估计/点估计_矩估计法

点估计

• 用样本$\mathcal{S}=(X_1,X_2,\cdots ,X_n)$构造的统计量$\hat{\theta }(X_1,X_2,\cdots ,X_n)$来估计未知参数$\theta$,称为点估计
  • 估计量:统计量$\hat{\theta }(X_1,X_2,\cdots ,X_n)$称为估计量
    • 估计量也是属于统计量的范畴
      • 因此,估计量是随机变量,
    • 它取的观测值$\hat{\theta }(x_1,x_2,\cdots ,x_n)$称为估计值
      • 参数估计就是借助估计量的(观测)估计值$\hat{\theta }(x_1,x_2,\cdots ,x_n)$来估计$\theta$的真值
    • 将$\theta$的估计量和估计值统称为$\theta$的估计

无偏估计

• 如果$E(\hat{\theta })=\theta ;$

  • $则,\hat{\theta }=\hat{\theta }(X_1,X_2,\cdots ,X_n)$是未知参数$\theta$的无偏估计量

  • 例如:

    • $$\begin{gathered} 设总体X的均值E(X)=\mu (存在),来自总体的样本\mathcal{S}=(X_1,X_2,\cdots ,X_n) \\ 均值\overline{X}=\frac{1}{n}\sum _{i=1}^n{X}_i就是\mu 的无偏估计 \\ E(X_i)=E(X)=\mu ; \\ E(\overline{X})=\frac{1}{n}E(\sum _{i=1}^n{X}_i)=\frac{1}{n}\sum _{i=1}^{n}E(X_i)=\mu \end{gathered}$$

更有效估计

• 如果${\theta }_1,{\theta }_2$都是$\theta$的无偏估计量,且$D(\widehat{{\theta }_1})⩽D(\widehat{{\theta }_2})$
  • 则称${\theta }_1比{\theta }_2更有效$

一致估计

• 设$\hat{\theta }=\hat{\theta }(X_1,X_2,\cdots ,X_n)$是$\theta$的估计量,如果:

  • $$\hat{\theta }\stackrel{P}{\to }\theta 则称\hat{\theta }为\theta 的\underline{一致估计量}$$

评价估计

• 获得未知参数的估计值后,需要评价这个估计的好坏
  • 样本是随机变量,推断的结果也是随机的
  • 评估一个估计的好坏,必须是整体性的,去绝不估计量的抽样分布和统计性质
  • 构造估计量的方法称为估计合理的一个重要前提

估计量的求法

矩估计法

• 用样本矩估计相应的总体矩,用样本矩的函数估计总体矩相应的函数,求解要估计的参数的方法,称为矩估计
  • 当样本容量区域无穷的时候,样本k阶矩依概率收敛于相应的总体k阶矩(KhinchinLLN)
    • 这是矩法估计的根据,使得我们借助样本建立方程组来估计总体

步骤

• $设总体X的分布含有未知参数(向量){\theta }_1,{\theta }_2,\cdots ,{\theta }_k$

  • 总体矩:

    • 总体$l$阶矩:$E(X^l)={\mu }_l={\alpha }_l({\theta }_1,{\theta }_2,\cdots ,{\theta }_k);l=1,2,\cdots ,k存在$

  • 样本矩:

    • $样本l阶原点矩A_l=\frac{1}{n}\sum _{i=1}^n{X}_i^l=\overline{X^l}$

  • 建立方程组

    • 令:

      • $$\begin{gathered} E(X^l)=A_l \\ 即{\alpha }_l({\theta }_1,{\theta }_2,\cdots ,{\theta }_k)=A_l;l=1,2,\cdots ,k \end{gathered}$$

        • 从低阶到高阶,将产生k个方程(对应了k个待估计参数)

矩的函数

• $设g({\alpha }_1,{\alpha }_2)是一阶矩{\alpha }_1和二阶矩{\alpha }_2的函数,而\widehat{{\alpha }_1},\widehat{{\alpha }_2}则g(\widehat{{\alpha }_1,\hat{{\alpha }_2}})就是g({\alpha }_1,{\alpha }_2)的矩估计$

矩法特点

• 在总体分布未知的时候,也可以给出总体均值和方差的估计

  • 设总体X的数学期望和方差均存在,分别为:

    • $$\begin{gathered} E(X)=\mu \\ D(X)=E(X^2)-E^2(X)={\sigma }^2 \end{gathered}$$

    • $$\begin{gathered} 那么均值和方差的矩估计分别: \\ \hat{\mu }=\frac{1}{n}\sum _{i=1}^n{X}_i=\overline{X}=A_1 \\ \widehat{{\sigma }^2}=\frac{1}{n}\sum _{i=1}^n{X}_i^2-\frac{1}{n}\sum _{i=1}^n{X}_i=A_2-A_1^2 \end{gathered}$$

  • 矩法的优点还有:计算简便,且n较大的时候,矩估计接近值域参数真值的可能性较大

  • 局限性:

    • 有时可以提供出不唯一的估计量

案例(矩估计法)

• $设总体X\sim B(m,p)$

  • $m是已知参数,而p是未知参数$
  • $(X_1,X_2,\cdots ,X_n)是总体X的样本$
  • 求:p的矩估计
  • 解:
    • 总体均值(期望):二项分布的期望为E(X)=mp
    • 样本均值:$\overline{X}=\frac{1}{n}\sum _{i=1}^n{X}_i$
    • 建立方程:
      • $E(X)=\overline{X}$,即
        • $mp=\overline{X}=\frac{1}{n}\sum _{i=1}^n{X}_i$
      • 得到:$p=\frac{1}{m}\overline{X}=\frac{1}{m}\sum _{i=1}^n{X}_i$

• $设总体X\sim U(0,\theta )$

  • $\theta >0是未知参数$
  • $(X_1,X_2,\cdots ,X_n)是总体X的样本$
  • 求$\theta 的矩估计$
  • 解:
    • $E(X)=\frac{1}{2}(\theta -0)=\frac{1}{2}\theta$
    • 建立方程:
      • $E(X)=\overline{X},即\frac{1}{2}\theta =\overline{X}$
    • $\theta =2\overline{X}$

• 设总体X的概率密度:

  • f ( x ) = { 1 θ e − ( x − μ ) θ , x ⩾ μ 0 , e l s e f(x)=

    {1θe−(x−μ)θ,x⩾μ0,else" role="presentation">{1θe−(x−μ)θ,0,x⩾μelse$$\{\begin{array}{ll}\frac{1}{\theta }{e}^{-\frac{(x-\mu )}{\theta }},& x⩾\mu \\ 0,& else\end{array}$$
    f(x)={θ1​e−θ(x−μ)​,0,​x⩾μelse​

  • 其中两个未知参数为$\mu ,\theta ,其中\theta >0$

  • 解:

    • 先计算分别总体矩(1阶和2阶)(因为有两个未知参数需要两个方程才可以求解)

      • $$\begin{gathered} E(X)=\underset{x\in R}{\int }xf(x)\mathrm{d}x=\mu +\theta \\ E(X^2)=\underset{x\in R}{\int }{x}^{2}f(x)\mathrm{d}x={\mu }^2+2\theta \mu +2{\theta }^2 \end{gathered}$$

      • 附:第一个积分计算过程:

        • $$\begin{gathered} y=E(X)=\underset{x\in R}{\int }xf(x)\mathrm{d}x={\int }_{\mu }^{+\infty }x\frac{1}{\theta }{e}^{-\frac{(x-\mu )}{\theta }}\mathrm{d}x \\ =\frac{1}{\theta }{\int }_{\mu }^{+\infty }x{e}^{-\frac{1}{\theta }(x-\mu )}\mathrm{d}x \\ =\frac{1}{\theta }{\int }_{\mu }^{+\infty }x{e}^{-\frac{1}{\theta }(x-\mu )}\mathrm{d}x \\ 记t=e^{-\frac{1}{\theta }},\because \theta >0,t\in (0,1) \\ \underset{x\to +\infty }{\lim }{t}^x=0 \\ =\frac{1}{\theta }{\int }_{\mu }^{+\infty }x{t}^{(x-\mu )}\mathrm{d}x \\ =\frac{1}{\theta }{t}^{-\mu }{\int }_{\mu }^{+\infty }x{t}^x\mathrm{d}x \\ 记B={\int }_{\mu }^{+\infty }x{t}^x\mathrm{d}x \\ B=\frac{1}{\ln t}{\int }_{\mu }^{+\infty }x\mathrm{d}{t}^x \\ y=\frac{1}{\theta }{t}^{-\mu }B \end{gathered}$$

        • $$\begin{gathered} 记C={\int }_{\mu }^{+\infty }x\mathrm{d}{t}^x \\ B=\frac{1}{\ln t}C \\ C=x\cdot t^x{|}_{\mu }^{+\infty }-{\int }_{\mu }^{+\infty }{t}^x\mathrm{d}x \\ =x\cdot t^x{|}_{\mu }^{+\infty }-\frac{1}{\ln t}{t}^x{|}_{\mu }^{+\infty } \\ =\frac{x}{t^{-x}}{|}_{\mu }^{+\infty }-(0-\frac{t^{\mu }}{\ln t}) \\ =\frac{x}{t^{-x}}{|}_{+\infty }-\frac{x}{t^{-x}}{|}_{\mu }+\frac{t^{\mu }}{\ln t} \\ 其中\ln t=-\frac{1}{\theta } \\ =\frac{1}{t^{-x}(\ln t^{-1})}{|}_{+\infty }-\mu t^{\mu }-\theta (t^{\mu }) \\ =-\mu t^{\mu }-\theta (t^{\mu }) \\ =-(\mu +\theta )t^{\mu } \end{gathered}$$

          • 错误推导:
            $$\begin{gathered} =\frac{x}{t^{-x}}{|}_{\mu }^{+\infty }-\frac{1}{\ln t}{t}^x{|}_{\mu }^{+\infty } \\ =\frac{1}{t^{-x}(\ln t^{-1})}{|}_{\mu }^{+\infty }-\frac{1}{\ln t}{t}^x{|}_{\mu }^{+\infty } \\ =\frac{t^x}{-\ln t}{|}_{\mu }^{+\infty }-\frac{1}{\ln t}{t}^x{|}_{\mu }^{+\infty } \\ =(0-\frac{t^{\mu }}{-\ln t})-(0-\frac{t^{\mu }}{\ln t}) \\ 滥用洛必达法则 \end{gathered}$$

          • 正确推导:

          • $$\begin{gathered} C=-(\mu +\theta )t^{\mu } \\ y=\frac{1}{\theta }{t}^{-\mu }B=\frac{1}{\theta }{t}^{-\mu }\frac{1}{\ln t}C=\frac{1}{\theta }{t}^{-\mu }(-\theta )C \\ =-t^{-\mu }C=-t^{-\mu }(-(\mu +\theta )t^{\mu }) \\ =\mu +\theta \end{gathered}$$

      • 第二个积分$E(X^2)$的推导:

        • $$\begin{gathered} y=E(X^2)=\underset{x\in R}{\int }{x}^{2}f(x)\mathrm{d}x={\int }_{\mu }^{+\infty }{x}^2\frac{1}{\theta }{e}^{-\frac{(x-\mu )}{\theta }}\mathrm{d}x \\ =\frac{1}{\theta }{t}^{-\mu }{\int }_{\mu }^{+\infty }{x}^2{t}^x\mathrm{d}x \\ 记B={\int }_{\mu }^{+\infty }{x}^2{t}^x\mathrm{d}x \\ B=\frac{1}{\ln t}{\int }_{\mu }^{+\infty }{x}^2\mathrm{d}{t}^x \\ y=\frac{1}{\theta }{t}^{-\mu }B \end{gathered}$$

        • $$\begin{gathered} 记:D={\int }_{\mu }^{+\infty }{x}^2\mathrm{d}{t}^x=x^2{t}^x{|}_{\mu }^{+\infty }-{\int }_{\mu }^{+\infty }{t}^2\cdot 2x\mathrm{d}x \\ =(\frac{2}{t^{-x}{\ln }^2(t^{-1})}{|}_{+\infty }-{\mu }^2{t}^{\mu })-(2{\int }_{\mu }^{+\infty }{t}^{x}dx) \\ =0-{\mu }^2{t}^{\mu }-(2(\frac{1}{\ln t}){\int }_{\mu }^{+\infty }xd{t}^x) \\ =-{\mu }^2{t}^{\mu }+2\theta (-(\mu +\theta )t^{\mu }) \\ =-t^{\mu }({\mu }^2+2\mu \theta +2{\theta }^2) \\ y=\frac{1}{\theta }{t}^{-\mu }(-\theta )D \\ =-t^{-\mu }(-t^{\mu }({\mu }^2+2\mu \theta +2{\theta }^2)) \\ ={\mu }^2+2\mu \theta +2{\theta }^2 \end{gathered}$$

    • 建立方程组:

      • $$\begin{gathered} \mu +\theta =\overline{X}=A_1=\frac{1}{n}\sum _{i=1}^n{X}_i \\ {\mu }^2+2\theta \mu +2{\theta }^2=A_2=\frac{1}{n}\sum _{i=1}^n{X}_i^2 \end{gathered}$$

      • 求解$\theta ,\mu$:

        • $$\begin{gathered} (\mu +\theta {)}^2={\mu }^2+2\mu \theta +{\theta }^2=A_1^2 \\ {\theta }^2=A_2-A^2 \\ \theta =\sqrt{A_2-A_1^2} \\ \mu =A_1-\theta =A-\sqrt{A_2-A_1^2} \end{gathered}$$

        • $$\begin{gathered} \hat{\theta }=\sqrt{A_2-A_1^2} \\ \hat{\mu }=A_1-\sqrt{A_2-A_1^2} \end{gathered}$$