机器学习基础：参数估计与假设检验

机器学习必备基础知识，力求以最简洁的语言，描述最完整的内容。
很多知识没有深入剖析，也没必要深入剖析。大致了解知识框架之后，即可开始学习机器学习，有不懂的再回过头仔细研究，驱动式学习才是最高效的学习。

参数估计

点估计

• 参数估计

  • 设$X_1,X_2,...,X_n$是总体$X$的一个样本，其分布函数为$F(x;\theta ),\theta \in \Theta$，其中$\theta$为未知参数，$\Theta$为参数空间，若统计量$g(X_1,...,X_n)$可作为$\theta$的一个估计，则称其为$\theta$的一个估计量，记为$\hat{\theta }$，即$\hat{\theta }=g(X_1,...,X_n)$
  • 注：分布函数$F(x;\theta )$也可用分布律（离散型）或密度函数（连续性）代替

点估计

• 若$x_1,x_2,...,x_n$是样本的一个观测值，则称为$\theta$的估计值
• 由于$g(x_1,x_2,...,x_n)$是实数域上的一个点，现用它来估计$\theta$，故称这种估计为点估计
• 经典方法
  • 矩估计法
  • 极大似然估计法

矩估计

• 用样本矩作为总体同阶矩的估计，即
  $$E(\widehat{X^k})=\frac{1}{n}\sum _{i=1}^n{X}_i^k$$
  也就是说，先根据具体分布条件，将$E(X^k)$求出来，是一个关于未知参数$\theta$的式子，然后将上式代入，解出$\hat{\theta }$

极大似然估计

• 思想：一件事情发生或不发生，如果试验一次就发生了，给我们的感觉就是发生的概率比不发生要大。

  • 一般来说，事件$A$发生的概率与参数$\theta \in \Theta$有关，$\theta$取值不同，$P(A)$也不同，所以应该记事件$A$发生概率为$P(A|\theta )$，若$A$发生了，则认为此时的$\theta$值应是在$\Theta$中使得$P(A|\theta )$达到最大的那一个

• 对离散型随机变量 P { X = a k ∣ θ } = P θ ( a k ) , k = 1 , 2 , . . . P\{X=a_k|\theta\}=P_{\theta}(a_k),k=1,2,... P{X=ak​∣θ}=Pθ​(ak​),k=1,2,...，现有样本观察值$x_1,x_2,...,x_n$，如何用极大似然估计来估计$\theta$？

  • 记 A = { X 1 = x 1 , . . . , X n = x n } A=\{X_1=x_1,...,X_n=x_n\} A={X1​=x1​,...,Xn​=xn​}，则
    P ( A ∣ θ ) = P θ { X 1 = x 1 , . . . , X n = x n } = ∏ i = 1 n P θ ( x i ) P(A|\theta)=P_{\theta}\{X_1=x_1,...,X_n=x_n\}=\prod_{i=1}^nP_{\theta}(x_i) P(A∣θ)=Pθ​{X1​=x1​,...,Xn​=xn​}=i=1∏n​Pθ​(xi​)
    根据极大似然思想，$\theta$的值应使得样本联合分布律${\prod }_{i=1}^n{P}_{\theta }(x_i)$达到最大

• 连续型同理

• 似然函数

  • 设$X_1,...,X_n$独立同分布于密度函数$f(x;\theta )$，则称
    $$L(\theta )=L(x_1,...,x_n;\theta )=\prod _{i=1}^{n}f(x_i;\theta )$$
    为总体$X$的似然函数

  • 若有$\hat{\theta }\in \Theta$使得$L(\hat{\theta })={\max }_{\theta \in \Theta }L(\theta )$，则称$\hat{\theta }$为$\theta$的极大似然估计，记为${\hat{\theta }}_{MLE}$

• 求极大似然估计的步骤

  • 做似然函数
    $$L(\theta )=L(x_1,...,x_n;\theta )=\prod _{i=1}^{n}f(x_i;\theta )$$

  • 做对数似然函数
    $$\ln L(\theta )=\ln L(x_1,...,x_n;\theta )=\sum _{i=1}^n\ln f(x_i;\theta )\ln L(\theta )=\ln L(x_1,...,x_n;\theta )=\sum _{i=1}^n\ln f(x_i;\theta )$$

  • 列方程
    $$\frac{d[\ln L(\theta )]}{d\theta }=0$$
    若有解，则解就是${\hat{\theta }}_{MLE}(X_1,...,X_n)$

• 当由似然方程解不出$\theta$的似然估计时，可由定义通过分析直接推求（见$ppt$）

估计量的评选标准

无偏性

• 设$\hat{\theta }=\hat{\theta }(X_1,...,X_n)$为$\theta$的估计量，若$E\hat{\theta }=\theta$，则称$\hat{\theta }$为$\theta$的无偏估计量

  实际意义就是说，用估计量$\hat{\theta }$来对未知参数$\theta$进行估计，有时会高于$\theta$，有时会低于$\theta$，但平均下来还是相等的，也就是没有系统误差

一些性质

• $X_1,X_2,...,X_n$是来自总体的一个样本，那么$k$阶样本原点矩$A_k$是总体样本原点矩${\mu }_k$ （如果存在的话）的无偏估计，即
  $$E(A_k)=E[\frac{1}{n}\sum _{i=1}^n{X}_i^k]$$

• 总体$X$的方差${\sigma }^2$存在且有限，$X_1,X_2,...,X_n$是来自总体的一个样本，则样本方差$S^2$是总体方差${\sigma }^2$的无偏估计
  $$\begin{gathered} S^2=\frac{1}{n-1}\sum _{i=1}^n(X_i-\overline{X}{)}^2=\frac{1}{n-1}\sum _{i=1}^n{X}_i^2-\frac{n}{n-1}(\overline{X}{)}^2 \\ E(S^2)=\frac{1}{n-1}\sum _{i=1}^{n}E(X_i^2)-\frac{n}{n-1}E(\overline{X}{)}^2 \\ =\frac{1}{n-1}\sum _{i=1}^n({\sigma }^2+{\mu }^2)-\frac{n}{n-1}(\frac{{\sigma }^2}{n}+{\mu }^2)={\sigma }^2 \end{gathered}$$
  同时可见，样本中心二阶矩$S^{\ast 2}=\frac{1}{n}{\sum }_{i=1}^n(X_i-\overline{X}{)}^2$不是方差${\sigma }^2$的无偏估计，

  但有$E(S^{\ast 2})=\frac{n-1}{n}{\sigma }^2\to {\sigma }^2$，我们称$S^{\ast 2}$为${\sigma }^2$的渐进无偏估计

• 有效性

  • 设${\hat{\theta }}_i,i=1,2$分别是参数$\theta$的两个无偏估计即$E({\hat{\theta }}_i)=\theta$，若$D{\hat{\theta }}_1<D{\hat{\theta }}_2$，则称${\hat{\theta }}_1$比${\hat{\theta }}_2$有效，也就是比较$E({\hat{\theta }}_i-\theta {)}^2$（称为均方误差，记为$M(\hat{\theta },\theta )=E(\hat{\theta }-\theta {)}^2$）

• 一致性

  • 设${\hat{\theta }}_n=\hat{\theta }(X_1,X_2,...,X_n)$是$\theta$的估计量，若$\widehat{{\theta }_n}->[p]\theta$，则称${\hat{\theta }}_n$为$\theta$的一致估计量

区间估计

前面是用一个点来估计未知参数，那么现在尝试构造一个区间$({\hat{\theta }}_1,{\hat{\theta }}_2)$来估计参数$\theta$的范围

• 定义

  • 设$\theta$是总体$X$的未知参数，$X_1,...,X_n$是来自总体$X$的样本，若对给定值$\alpha \in (0,1)$，存在两个统计量${\hat{\theta }}_1(X_1,...,X_n),{\hat{\theta }}_2(X_1,...,X_n)$，使得
    $$P({\hat{\theta }}_1<\theta <{\hat{\theta }}_2)=1-\alpha$$
    则称区间$({\hat{\theta }}_1,{\hat{\theta }}_2)$，是$\theta$的置信度为$1-\alpha$的置信区间，${\hat{\theta }}_1,{\hat{\theta }}_2$为置信下限和置信上限

  • 单侧置信区间

    • 设$\theta$是总体$X$的未知参数，$X_1,...,X_n$是来自总体$X$的样本，若对给定值$\alpha \in (0,1)$，存在统计量${\hat{\theta }}_1(X_1,...,X_n)$，使得
      $$p({\hat{\theta }}_1<\theta )=1-\alpha$$
      则称$({\hat{\theta }}_1,+\infty )$为$\theta$的置信度为$1-\alpha$的单侧置信区间，${\hat{\theta }}_1$称为置信度为$1-\alpha$单侧置信下限，${\hat{\theta }}_2$同理

• 正态总体参数的区间估计

  • 设$X_1,...,X_n$独立同分布$\sim N(\mu ,{\sigma }^2)$，给定$\alpha$，由观测值$x_1,...,x_n$，求出样本均值$\mu$的$1-\alpha$置信区间

    • （1）当${\sigma }^2$已知时

      由于$\mu$的点估计量为$\overline{X}$，且$\overline{X}～N(\mu ,\frac{{\delta }^2}{n})$，构造
      $$U\stackrel{def}{=}\frac{\overline{X}-\mu }{\sigma /\sqrt{n}}～N(0,1)$$
      则对于给定的置信度$1-\alpha$，由分位点的概念知，存在一个标准正态分布上的$\frac{\alpha }{2}$分位点$u_{\frac{\alpha }{2}}$，使得
      P { ∣ X ‾ − μ σ / n ∣ < u α 2 } = 1 − α P\{|\frac{\overline{X}-\mu}{\sigma/\sqrt{n}}|P{∣σ/n ​X−μ​∣<u2α​​}=1−α
      因为加了绝对值所以是$u_{\frac{\alpha }{2}}$，解得
      P { X ‾ − u α 2 σ n < μ < X ‾ + u α 2 σ n } = 1 − α P\{\overline{X}-u_{\frac{\alpha}{2}}\frac{\sigma}{\sqrt{n}}<\mu<\overline{X}+u_{\frac{\alpha}{2}}\frac{\sigma}{\sqrt{n}}\}=1-\alpha P{X−u2α​​n ​σ​<μ<X+u2α​​n ​σ​}=1−α
      所以$\mu$的置信度为$1-\alpha$的置信区间为
      $$(\overline{X}-u_{\frac{\alpha }{2}}\frac{\sigma }{\sqrt{n}}，\overline{X}+u_{\frac{\alpha }{2}}\frac{\sigma }{\sqrt{n}})$$
      

      当然$\mu$的置信区间并不唯一，从图上可以看出，
      $$\forall \theta ,(\overline{X}-u_{\theta \alpha }\frac{\sigma }{\sqrt{n}}，\overline{X}+u_{(1-\theta )\alpha }\frac{\sigma }{\sqrt{n}})$$
      都是$\mu$的$1-\alpha$置信区间，只是$\theta =\frac{1}{2}$时区间长度最短

    • 由上述过程可以总结出，求正态总体参数置信区间的解题步骤：

      • 构造样本的函数，要求仅含待估参数且分布已知——枢轴量
      • 令枢轴量落在分位点确定的区间中的概率为给定的置信度（$1-\alpha$）。要求区间按几何对称或概率对称
      • 解不等式得随机的置信区间
      • 由观测值及$\alpha$值查表计算得所求置信区间

    • （2）当${\sigma }^2$未知时，要求总体均值$\mu$的区间估计

      由
      $$T=\frac{\overline{X}-\mu }{S/\sqrt{n}}～t(n-1)$$
      （$S$为样本标准差）从而有
      P { ∣ X ‾ − μ S / n ∣ < t α 2 ( n − 1 ) } = 1 − α P\{|\frac{\overline{X}-\mu}{S/\sqrt{n}}|P{∣S/n ​X−μ​∣<t2α​​(n−1)}=1−α
      解得
      P { X ‾ − t α 2 ( n − 1 ) S n ≤ μ ≤ X ‾ + t α 2 ( n − 1 ) S n } = 1 − α P\{\overline{X}-t_{\frac{\alpha}{2}}(n-1)\frac{S}{\sqrt{n}}\leq\mu\leq \overline{X}+t_{\frac{\alpha}{2}}(n-1)\frac{S}{\sqrt{n}}\}=1-\alpha P{X−t2α​​(n−1)n ​S​≤μ≤X+t2α​​(n−1)n ​S​}=1−α
      所以$\mu$的置信度为$1-\alpha$的置信区间为
      $$（\overline{X}-t_{\frac{\alpha }{2}}(n-1)\frac{S}{\sqrt{n}}，\overline{X}+t_{\frac{\alpha }{2}}(n-1)\frac{S}{\sqrt{n}}）$$

  • 设$X_1,...,X_n$独立同分布$\sim N(\mu ,{\sigma }^2)$，给定$\alpha$，由观测值$x_1,...,x_n$，求出样本方差${\sigma }^2$的$1-\alpha$置信区间

    • 假定$\mu$未知，引进
      $${\chi }^2=\frac{(n-1)S^2}{{\sigma }^2}\sim {\chi }^2(n-1)$$
      对于给定的置信度，可以有这样的构造
      P { χ 2 < χ 1 − α 2 2 ( n − 1 ) } = α 2 P { χ 2 > χ α 2 2 ( n − 1 ) } = α 2 P\{\chi^2<\chi^2_{1-\frac{\alpha}{2}}(n-1)\}=\frac{\alpha}{2}\\ P\{\chi^2>\chi^2_{\frac{\alpha}{2}}(n-1)\}=\frac{\alpha}{2} P{χ2<χ1−2α​2​(n−1)}=2α​P{χ2>χ2α​2​(n−1)}=2α​
      于是有
      P { χ 1 − α 2 2 ( n − 1 ) < ( n − 1 ) S 2 σ 2 < χ α 2 2 ( n − 1 ) } = 1 − α P\{\chi^2_{1-\frac{\alpha}{2}}(n-1)<\frac{(n-1)S^{^2}}{\sigma^2}<\chi^2_{\frac{\alpha}{2}}(n-1)\}=1-\alpha P{χ1−2α​2​(n−1)<σ2(n−1)S2​<χ2α​2​(n−1)}=1−α
      从而
      P { ( n − 1 ) S 2 χ α 2 2 ( n − 1 ) < σ 2 < ( n − 1 ) S 2 χ 1 − α 2 2 ( n − 1 ) } = 1 − α P\{\frac{(n-1)S^{^2}}{\chi^2_{\frac{\alpha}{2}}(n-1)}<\sigma^2<\frac{(n-1)S^{^2}}{\chi^2_{1-\frac{\alpha}{2}}(n-1)}\}=1-\alpha P{χ2α​2​(n−1)(n−1)S2​<σ2<χ1−2α​2​(n−1)(n−1)S2​}=1−α
      所以${\sigma }^2$的$1-\alpha$置信区间为
      $$(\frac{(n-1)S^{{}^2}}{{\chi }_{\frac{\alpha }{2}}^2(n-1)},\frac{(n-1)S^{{}^2}}{{\chi }_{1-\frac{\alpha }{2}}^2(n-1)})$$
      $\sigma$的$1-\alpha$置信区间为
      $$(\sqrt{\frac{(n-1)S^{{}^2}}{{\chi }_{\frac{\alpha }{2}}^2(n-1)}},\sqrt{\frac{(n-1)S^{{}^2}}{{\chi }_{1-\frac{\alpha }{2}}^2(n-1)}})$$

  • 上面是对单个正态总体的均值/方差的区间估计，下面是求两个正态总体均值差的置信区间：

    设$X_1,...,X_n$独立同分布$\sim N({\mu }_1,{\sigma }_1^2)$，$Y_1,...,Y_n$独立同分布$\sim N({\mu }_2,{\sigma }_2^2)$，两样本独立。给定置信度$1-\alpha$，求${\mu }_1-{\mu }_2$的置信区间

    • 假设${\sigma }_1^2={\sigma }_2^2={\sigma }^2$未知，引进
      $$T=\frac{\overline{X}-\overline{Y}-({\mu }_1-{\mu }_2)}{S_w\sqrt{1/n_1+1/n_2}}\sim t(n_1-1+n_2-1)$$
      那么有
      P { ∣ T ∣ < t α 2 ( n 1 + n 2 − 2 ) } = 1 − α P\{|T|P{∣T∣<t2α​​(n1​+n2​−2)}=1−α
      可解得${\mu }_1-{\mu }_2$得置信区间
      $$\begin{gathered} (\overline{X}-\overline{Y}-t_{\frac{\alpha }{2}}(n_1+n_2-2)S_w\sqrt{1/n_1+1/n_2},\overline{X}-\overline{Y}+t_{\frac{\alpha }{2}}(n_1+n_2-2)S_w\sqrt{1/n_1+1/n_2}),其中 \\ {S}_w^2=\frac{(n_1-1)S_1^2+(n_2-1)S_2^2}{n_1+n_2-2} \end{gathered}$$

    • ${\sigma }_1,{\sigma }_2$已知时，相当于是求$Z_i=X_i-Y_i\sim N({\mu }_1-{\mu }_2,\frac{{\sigma }_1^2}{n_1}+\frac{{\sigma }_2^2}{n_2})$，类似单个正态总体${\sigma }^2$已知时求$\mu$的区间估计

  • 求$\frac{{\sigma }_1^2}{{\sigma }_2^2}$的置信区间

    • 假定${\mu }_1,{\mu }_2$未知，引进
      $$F=\frac{S_1^2/{\sigma }_1^2}{S_2^2/{\sigma }_2^2}\sim F(n_1-1,n_2-1)$$
      根据$F$分布图像分位点可知
      P { F > F α 2 ( n 1 − 1 , n 2 − 1 ) } = α 2 , P { F < F 1 − α 2 ( n 1 − 1 , n 2 − 1 ) } = α 2 P\{F>F_{\frac\alpha2}(n_1-1,n_2-1)\}=\frac\alpha2,\\ P\{FP{F>F2α​​(n1​−1,n2​−1)}=2α​,P{F<F1−2α​​(n1​−1,n2​−1)}=2α​
      所以有
      P { F 1 − α 2 ( n 1 − 1 , n 2 − 1 ) < F < F α 2 ( n 1 − 1 , n 2 − 1 ) } = 1 − α P\{F_{1-\frac\alpha2}(n_1-1,n_2-1)P{F1−2α​​(n1​−1,n2​−1)<F<F2α​​(n1​−1,n2​−1)}=1−α
      可解得$\frac{{\sigma }_1^2}{{\sigma }_2^2}$的置信区间为
      $$(\frac{S_1^2/S_2^2}{F_{\frac{\alpha }{2}}(n_1-1,n_2-1)},\frac{S_1^2/S_2^2}{F_{1-\frac{\alpha }{2}}(n_1-1,n_2-1)})$$

假设检验

假设检验的基本概念

根据长期经验和资料分析，某厂生产的砖的“抗断强度”$X$服从正态分布$N(\mu ,1.1^2)$，从该厂生产的一批砖中随机抽取6块，测得抗断强度$(kg/c{m}^2)$为：32.56, 29.66, 31.64, 30.00, 31.87, 31.03，请问可否认为这批砖的平均抗断强度为${\mu }_0=32.50$?

• 引出假设检验的基本概念：

  上面的问题就是要检验：
  $${\mathrm{H}}_0:\mu ={\mu }_0=32.50,{\mathrm{H}}_1:\mu \ne {\mu }_0$$
  其中${\mathrm{H}}_0$称为原假设或零假设，${\mathrm{H}}_1$称为备择假设或对立假设

• 以上述问题为例说明假设检验的具体过程

  • 首先考虑$\mu$的估计，由辛钦大数定律：样本均值$\overline{X}$依概率收敛到总体均值$\mu$，并且估计理论：$\overline{X}$是$\mu$的无偏估计

  • 那么，如果${\mathrm{H}}_0$成立，那么样本均值$\overline{X}$与${\mu }_0$的差距应该不会太大，即$|\overline{X}-{\mu }_0|$较小，也就是$\frac{\overline{X}-{\mu }_0}{\sigma /\sqrt{n}}$较小；反之，当${\mathrm{H}}_1$成立时，$\frac{\overline{X}-{\mu }_0}{\sigma /\sqrt{n}}$较大

    因此可以适当选取一个正数$k$作为临界点，当$\frac{\overline{X}-{\mu }_0}{\sigma /\sqrt{n}}⩾k$时，拒接假设${\mathrm{H}}_0$，反之，当$\frac{\overline{X}-{\mu }_0}{\sigma /\sqrt{n}}<k$时，接收假设${\mathrm{H}}_0$

  • 我们假设${\mathrm{H}}_0$为真，构造统计量
    $$Z=\frac{\overline{X}-{\mu }_0}{\sigma /\sqrt{n}}\sim N(0,1)$$
    给定一个小概率$\alpha$(称为显著性水平)，在${\mathrm{H}}_0$成立的前提下有
    $$P(|Z|⩾k)=P(|\frac{\overline{X}-{\mu }_0}{\sigma /\sqrt{n}}|⩾k)=\alpha$$
    由分位点的知识可以知道$k=u_{\frac{\alpha }{2}}$

  • 由于$\alpha$是一个小概率，所以$|\frac{\overline{X}-{\mu }_0}{\sigma /\sqrt{n}}|⩾u_{\frac{\alpha }{2}}$是小概率事件，在一次试验中几乎不可能发生，

    当样本观察值$\overline{x}$满足$|\frac{\overline{x}-{\mu }_0}{\sigma /\sqrt{n}}|⩾u_{\frac{\alpha }{2}}$时，小概率事件发生，故拒绝假设${\mathrm{H}}_0$；反之，接受假设${\mathrm{H}}_0$

• 根据上面的过程可以总结出假设检验的基本步骤

  • 根据问题提出原假设${\mathrm{H}}_0$和对立假设${\mathrm{H}}_1$
  • 构造一个合适的统计量，并在${\mathrm{H}}_0$成立的条件下推导出该统计量的分布
  • 给出小概率$\alpha$，确定临界值和拒绝域
  • 由样本算出统计量的观察值，若落在拒绝域，则拒绝${\mathrm{H}}_0$，反之接受${\mathrm{H}}_0$
    • 其中例子中的$Z=\frac{\overline{X}-{\mu }_0}{\sigma /\sqrt{n}}$称为检验统计量， W = { ∣ X ‾ − μ 0 σ / n ∣ ⩾ u α 2 } W=\{|\frac{\overline X-\mu_0}{\sigma/\sqrt{n}}|\geqslant u_{\frac{\alpha}{2}}\} W={∣σ/n ​X−μ0​​∣⩾u2α​​}称为拒绝域， W = { ∣ X ‾ − μ 0 σ / n ∣ < u α 2 } W=\{|\frac{\overline X-\mu_0}{\sigma/\sqrt{n}}|W={∣σ/n ​X−μ0​​∣<u2α​​}称为接受域
    • 我们上面例子中的检验法使用了正态统计量及其符号$Z=\frac{\overline{X}-{\mu }_0}{\sigma /\sqrt{n}}$，故称为$Z$检验法

• 假设检验的两类错误

  • 弃真错误（第一类错误）：原假设${\mathrm{H}}_0$正确，但由于统计量的值落在了拒绝域，所以拒绝了原假设

    • 显然第一类错误发生的概率就是上面提到的“小概率事件”，可以理解成 假设是对的，但是抽到的样本碰巧出了问题
      $$P(拒绝{\mathrm{H}}_0|{\mathrm{H}}_0\mathrm{为真})=\mathrm{P}(\mathrm{U}\in W|{\mathrm{H}}_0\mathrm{为真})=\alpha$$
      $\alpha$称为显著性水平

  • 存伪错误（第二类错误）：原假设${\mathrm{H}}_0$错误，但由于统计量的值落在了接受域，所以接受了原假设

    • 第二类错误一般记做$\beta$
      $$P(接受{\mathrm{H}}_0|{\mathrm{H}}_1\mathrm{为真})=\mathrm{P}(\mathrm{U}\notin W|{\mathrm{H}}_1\mathrm{为真})=\beta$$

• 检验的类型

  • 双边检验：对立假设分居原假设的两边，即形如
    $$\begin{gathered} {\mathrm{H}}_0:\mu ={\mu }_0, \\ {\mathrm{H}}_1:\mu \ne {\mu }_0 \end{gathered}$$

  • 左边检验
    $$\begin{gathered} {\mathrm{H}}_0:\mu ⩾{\mu }_0, \\ {\mathrm{H}}_1:\mu <{\mu }_0 \end{gathered}$$

  • 右边检验
    $$\begin{gathered} {\mathrm{H}}_0:\mu ⩽{\mu }_0, \\ {\mathrm{H}}_1:\mu >{\mu }_0 \end{gathered}$$

正态总体参数的检验

• 单个正态总体$N(\mu ,{\sigma }^2)$均值$\mu$的检验

  • ${\sigma }^2$已知：$Z$检验（书上是$u$检验）

    • 对双边检验${\mathrm{H}}_0:\mu ={\mu }_0,{\mathrm{H}}_1:\mu \ne {\mu }_0$

      ${\mathrm{H}}_0$下$U=\frac{\overline{X}-{\mu }_0}{\sigma /\sqrt{n}}$

      拒绝域为 { ∣ U ∣ ⩾ u α 2 } \{|U|\geqslant u_{\frac\alpha2}\} {∣U∣⩾u2α​​}

    • 右边 ${\mathrm{H}}_0:\mu ⩽{\mu }_0,{\mathrm{H}}_1:\mu >{\mu }_0$

      拒绝域为 { U ⩾ u α } \{U\geqslant u_{\alpha}\} {U⩾uα​}

    • 左边 ${\mathrm{H}}_0:\mu ⩾{\mu }_0,{\mathrm{H}}_1:\mu <{\mu }_0$

      拒绝域为 { U ⩽ − u α } \{U\leqslant -u_{\alpha}\} {U⩽−uα​}

  • ${\sigma }^2$未知：$t$检验法

    • 与$Z$检验法的步骤大致相同，不同之处在于此时正态总体的方差${\sigma }^2$未知，要用${\sigma }^2$的无偏估计$S^2$代替，所以检验统计量服从的分布于$Z$的不同，拒绝域的临界点也不一样
      $$t=\frac{\overline{X}-\mu }{S/\sqrt{n}}\sim t(n-1)$$

      • 对双边检验${\mathrm{H}}_0:\mu ={\mu }_0,{\mathrm{H}}_1:\mu \ne {\mu }_0$

        拒绝域为 { ∣ t ∣ ⩾ t α 2 ( n − 1 ) } \{|t|\geqslant t_{\frac\alpha2}(n-1)\} {∣t∣⩾t2α​​(n−1)}

      • 右边 ${\mathrm{H}}_0:\mu ⩽{\mu }_0,{\mathrm{H}}_1:\mu >{\mu }_0$

        拒绝域为 { t ⩾ t α ( n − 1 ) } \{t\geqslant t_{\alpha}(n-1)\} {t⩾tα​(n−1)}

      • 右边 ${\mathrm{H}}_0:\mu ⩾{\mu }_0,{\mathrm{H}}_1:\mu <{\mu }_0$

        拒绝域为 { t ⩽ − t α ( n − 1 ) } \{t\leqslant -t_{\alpha}(n-1)\} {t⩽−tα​(n−1)}

• 单个正态总体方差${\sigma }^2$的假设检验

  • $\mu$未知：${\chi }^2$检验法

    • 双边检验${\mathrm{H}}_0:{\sigma }^2={\sigma }_0^2,{\mathrm{H}}_1:{\sigma }^2\ne {\sigma }_0^2$

      ${\mathrm{H}}_0$下${\chi }^2=\frac{(n-1)S^2}{{\sigma }_0^2}\sim {\chi }^2(n-1)$

      拒绝域为${\chi }^2⩽{\chi }_{1-\frac{\alpha }{2}}^2(n-1)或{\chi }^2⩾{\chi }_{\frac{\alpha }{2}}^2(n-1)$

    • 单边 ${\mathrm{H}}_0:{\sigma }^2⩽{\sigma }_0^2,{\mathrm{H}}_1:{\sigma }^2>{\sigma }_0^2$

      拒绝域为${\chi }^2⩾{\chi }_{\alpha }^2(n-1)$

    • 单边 ${\mathrm{H}}_0:{\sigma }^2⩾{\sigma }_0^2,{\mathrm{H}}_1:{\sigma }^2<{\sigma }_0^2$

      拒绝域为${\chi }^2⩽{\chi }_{1-\alpha }^2(n-1)$

• 双正态总体均值差的假设检验

  • $X_1,...,X_{n_1}独立同分布N({\mu }_1,{\sigma }_1^2);Y_1,...,Y_{n_2}独立同分布N({\mu }_2,{\sigma }_2^2)$两样本独立，

  • ${\sigma }_1^2和{\sigma }_2^2$已知，
    $$U=\frac{\overline{X}-\overline{Y}}{\sqrt{\frac{{\sigma }_1^2}{n_1}+\frac{{\sigma }_2^2}{n_2}}}$$

• ${\sigma }_1^2={\sigma }_2^2但未知$

  ${\mathrm{H}}_0$下
  $$T=\frac{\overline{X}-\overline{Y}}{S_w\sqrt{1/n_1+1/n_2}}\sim t(n_1+n_2-2)$$

  • 双边检验${\mathrm{H}}_0:{\mu }_1={\mu }_2;{\mathrm{H}}_1:{\mu }_1\ne {\mu }_2$

    拒绝域为$|T|⩾t_{\frac{\alpha }{2}}(n_1+n_2-2)$

  • 单边 ${\mathrm{H}}_0:{\mu }_1⩽{\mu }_2;{\mathrm{H}}_1:{\mu }_1>{\mu }_2$

    拒绝域为$T⩾t_{\alpha }(n_1+n_2-2)$

  • 单边 ${\mathrm{H}}_0:{\mu }_1⩾{\mu }_2;{\mathrm{H}}_1:{\mu }_1<{\mu }_2$

    拒绝域为$T⩽-t_{\alpha }(n_1+n_2-2)$

• 双正态总体方差比的假设检验

  • ${\mu }_1,{\mu }_2$未知：$F$检验法
    $$F=\frac{S_1^2}{S_2^2}\sim F(n_1-1,n_2-1)$$

    • 双边检验${\mathrm{H}}_0:{\sigma }_1^2={\sigma }_2^2,{\mathrm{H}}_1:{\sigma }_1^2\ne {\sigma }_2^2$

      拒绝域$F⩽F_{1-\frac{\alpha }{2}}(n_1-1,n_2-1)或F⩾F_{\frac{\alpha }{2}}(n_1-1,n_2-1)$

    • 单边${\mathrm{H}}_0:{\sigma }_1⩽{\sigma }_2,{\mathrm{H}}_1:{\sigma }_1>{\sigma }_2$

      拒绝域为$F⩾F_{\alpha }(n_1-1,n_2-1)$

    • 单边${\mathrm{H}}_0:{\sigma }_1⩽{\sigma }_2,{\mathrm{H}}_1:{\sigma }_1>{\sigma }_2$

      拒绝域为$F⩽F_{1-\alpha }(n_1-1,n_2-1)$