【概率论与数理统计(研究生课程)】知识点总结9(回归分析)

原文地址：【概率论与数理统计(研究生课程)】知识点总结9(回归分析)

一元线性回归模型

y = β 0 + β 1 x + ϵ , ϵ ∼ N ( μ , σ 2 ) E ( ϵ ) = 0 , D ( ϵ ) = σ 2 > 0 ⟹ E ( y ) = β 0 + β 1 x y=β0+β1x+ϵ,ϵ∼N(μ,σ2)E(ϵ)=0,D(ϵ)=σ2>0⟹E(y)=β0+β1x

​y=β0​+β1​x+ϵ,ϵ∼N(μ,σ2)E(ϵ)=0,D(ϵ)=σ2>0⟹E(y)=β0​+β1​x​

回归方程：$\hat{y}=\widehat{{\beta }_0}+\widehat{{\beta }_1}x$

推导过程：
y i − E ( y i ) = y i − ( β 0 + β 1 x i ) Q ( β 1 , β 2 ) = ∑ i = 1 n ( y i − E ( y i ) ) 2 = ∑ i = 1 n ( y i − β 0 − β 1 x i ) 2 make  ∂ Q ( β 0 , β 1 ) ∂ β 0 = − 2 ∑ i = 1 n ( y i − β 0 − β 1 x i ) = 0 make  ∂ Q ( β 0 , β 1 ) ∂ β 1 = − 2 ∑ i = 1 n x i ( y i − β 0 − β 1 x i ) = 0 yi−E(yi)=yi−(β0+β1xi)Q(β1,β2)=n∑i=1(yi−E(yi))2=n∑i=1(yi−β0−β1xi)2make ∂Q(β0,β1)∂β0=−2n∑i=1(yi−β0−β1xi)=0make ∂Q(β0,β1)∂β1=−2n∑i=1xi(yi−β0−β1xi)=0

yi​−E(yi​)Q(β1​,β2​)make ∂β0​∂Q(β0​,β1​)​make ∂β1​∂Q(β0​,β1​)​​=yi​−(β0​+β1​xi​)=i=1∑n​(yi​−E(yi​))2=i=1∑n​(yi​−β0​−β1​xi​)2=−2i=1∑n​(yi​−β0​−β1​xi​)=0=−2i=1∑n​xi​(yi​−β0​−β1​xi​)=0​
整理得到正规方程组：
$$\begin{array}{rl}& n\widehat{{\beta }_0}+n\bar{x}\widehat{{\beta }_1}=n\bar{y}(1)\\ & n\bar{x}\widehat{{\beta }_0}+(\sum _{i=1}^n{x}_i^2)\widehat{{\beta }_1}=\sum _{i=1}^n{x}_i{y}_i(2)\end{array}$$
解上述方程组得到：
$$\begin{array}{rl}& \widehat{{\beta }_1}=\frac{L_{xy}}{L_{xx}}\\ & \widehat{{\beta }_0}=\bar{y}-\widehat{{\beta }_1}\bar{x}\\ & L_{xx}=\sum _{i=1}^n(x_i-\bar{x}{)}^2=\sum _{i=1}^n{x}_i^2-n{\bar{x}}^2=\sum _{i=1}^n{x}_i^2-\frac{1}{n}(\sum _{i=1}^n{x}_i{)}^2\\ & L_{yy}=\sum _{i=1}^n(y_i-\bar{y}{)}^2=\sum _{i=1}^n{y}_i^2-n{\bar{y}}^2=\sum _{i=1}^n{y}_i^2-\frac{1}{n}(\sum _{i=1}^n{y}_i{)}^2\\ & L_{xy}=\sum _{i=1}^n(x_i-\bar{x})(y_i-\bar{y})=\sum _{i=1}^n{x}_i{y}_i-n\bar{x}\bar{y}=\sum _{i=1}^n{x}_i{y}_i-\frac{1}{n}\sum _{i=1}^n{x}_i\sum _{i=1}^n{y}_i\end{array}$$

如果题目中给了$\sum$形式的数据， $L_{xx},L_{yy},L_{xy}$一般用上述公式最右边的方式来求。

残差/剩余平方和

$$Q_e=\sum _{i=1}^n{e}_i^2=\sum _{i=1}^n(y_i-\widehat{y_i}{)}^2=\sum _{i=1}^n(y_i-\widehat{{\beta }_0}-\widehat{{\beta }_1}{x}_i{)}^2=L_{yy}-\widehat{{\beta }_1}{L}_{xy}=L_{yy}-\frac{L_{xy}^2}{L_{xx}}$$

定理：$\frac{Q_e}{{\sigma }^2}\sim {\chi }^2(n-2)$
E ( Q e σ 2 ) = n − 2 ⟹ E ( Q e n − 2 ) = σ 2 ⟹ σ 2 ^ = Q e n − 2 E(Qeσ2)=n−2⟹E(Qen−2)=σ2⟹^σ2=Qen−2

⟹⟹​E(σ2Qe​​)=n−2E(n−2Qe​​)=σ2σ2^=n−2Qe​​​
${\hat{\sigma }}^2$的无偏估计为$\frac{Q_e}{n-2}$

最小二乘估计量的性质

${\beta }_0,{\beta }_1$的最小二乘估计量都是无偏的：$E(\widehat{{\beta }_0})={\beta }_0,E(\widehat{{\beta }_1})={\beta }_1$

$\widehat{{\beta }_0}\sim N({\beta }_0,(\frac{1}{n}+\frac{{\bar{x}}^2}{L_{xx}}){\sigma }^2)$

$\widehat{{\beta }_1}\sim N({\beta }_1,\frac{{\sigma }^2}{L_{xx}})$

$Cov(\widehat{{\beta }_0},\widehat{{\beta }_1})=-\frac{\bar{x}}{L_{xx}}{\sigma }^2$

$\widehat{y_0}\sim N({\beta }_0+{\beta }_1{x}_0,(\frac{1}{n}+\frac{(x_0-\bar{x}{)}^2}{L_{xx}}){\sigma }^2)$

回归方程显著性检验（t、F、r）

1. 提出原假设和备择假设（回归方程是否显著，反映在斜率是否为0）：

$$H_0:{\beta }_1=0;H_1:{\beta }_1\ne 0$$

2. 选取统计量：
   β 1 ^ ∼ N ( β 1 , σ 2 L x x ) ⟹ β 1 ^ − β 1 σ 2 L x x ∼ N ( 0 , 1 ) → H 0 β 1 ^ L x x σ ∼ N ( 0 , 1 ) ^β1∼N(β1,σ2Lxx)⟹^β1−β1√σ2Lxx∼N(0,1)H0→^β1√Lxxσ∼N(0,1)

   ⟹H0​ ​​β1​^​∼N(β1​,Lxx​σ2​)Lxx​σ2​ ​β1​^​−β1​​∼N(0,1)σβ1​^​Lxx​ ​​∼N(0,1)​
   若需构造$t$检验，还需要一个${\chi }^2$分布，而$\frac{Q_e}{{\sigma }^2}\sim {\chi }^2(n-2)$，从而：
   $$T=\frac{\frac{\widehat{{\beta }_1}\sqrt{L_{xx}}}{\sigma }}{\sqrt{\frac{Q_e}{{\sigma }^2}/(n-2)}}\stackrel{\widehat{{\sigma }^2}=\frac{Q_e}{n-2}}{\to }\frac{\widehat{{\beta }_1}\sqrt{L_{xx}}}{\hat{\sigma }}\sim t(n-2)$$
   若使用$F$检验，需要计算回归平方和以及残差平方和：
   $$\begin{array}{rl}& S_R^2=\sum _{i=1}^n(\widehat{y_i}-\overline{y_i}{)}^2=\widehat{{\beta }_1}{L}_{xy}\\ & S_e^2=\sum _{i=1}^n(y_i-\widehat{y_i}{)}^2=S_T^2-S_R^2=L_{yy}-\widehat{{\beta }_1}{L}_{xy}\\ & \frac{S_R^2}{{\sigma }^2}\sim {\chi }^2(1),\frac{S_e^2}{{\sigma }^2}\sim {\chi }^2(n-2)\\ & F=\frac{\frac{S_R^2}{{\sigma }^2}/1}{\frac{S_e^2}{{\sigma }^2}/(n-2)}=\frac{(n-2)S_R^2}{S_e^2}\sim F(1,n-2)\end{array}$$

3. 拒绝域

   $t$检验拒绝域：$|T|=|\frac{\widehat{{\beta }_1}\sqrt{L_{xx}}}{\hat{\sigma }}|\ge t_{\frac{\alpha }{2}}(n-2)$

   $F$检验拒绝域：$F\ge F_{\alpha }(1,n-2)$

4. 确定$t_{\frac{\alpha }{2}(n-2)}or{F}_{\alpha }(1,n-2)$

5. 计算$|T|orF$

6. 判断结果

回归系数的区间估计

β 1 ^ ∼ N ( β 1 , σ 2 L x x ) ⟹ β 1 ^ − β 1 σ 2 L x x ∼ N ( 0 , 1 ) ⟹ ( β 1 ^ − β 1 ) L x x σ ∼ N ( 0 , 1 ) T = ( β 1 ^ − β 1 ) L x x σ Q e σ 2 / ( n − 2 ) → σ 2 ^ = Q e n − 2 ( β 1 ^ − β 1 ) L x x σ ^ ∼ t ( n − 2 ) ^β1∼N(β1,σ2Lxx)⟹^β1−β1√σ2Lxx∼N(0,1)⟹(^β1−β1)√Lxxσ∼N(0,1)T=(^β1−β1)√Lxxσ√Qeσ2/(n−2)^σ2=Qen−2→(^β1−β1)√Lxxˆσ∼t(n−2)

⟹⟹T=σ2Qe​​/(n−2) ​σ(β1​^​−β1​)Lxx​ ​​​​β1​^​∼N(β1​,Lxx​σ2​)Lxx​σ2​ ​β1​^​−β1​​∼N(0,1)σ(β1​^​−β1​)Lxx​ ​​∼N(0,1)σ2^=n−2Qe​​ ​σ^(β1​^​−β1​)Lxx​ ​​∼t(n−2)​

则${\beta }_1$置信水平为$1-\alpha$的置信区间为：$(\widehat{{\beta }_1}\pm \frac{\hat{\sigma }}{\sqrt{L_{xx}}}{t}_{\frac{\alpha }{2}}(n-2))$

估计

设回归方程为$\hat{y}=\widehat{{\beta }_0}+\widehat{{\beta }_1}x$，对任意给定的$x=x_0$，$y_0$的均值$E(y_0)={\beta }_0+{\beta }_1{x}_0$，$E(y_0)$的无偏估计为$\widehat{y_0}=\widehat{{\beta }_0}+\widehat{{\beta }_1}{x}_0$

$\widehat{{\beta }_0}\sim N({\beta }_0,(\frac{1}{n}+\frac{{\bar{x}}^2}{L_{xx}}){\sigma }^2)$

$\widehat{{\beta }_1}\sim N({\beta }_1,\frac{{\sigma }^2}{L_{xx}})$

$Cov(\widehat{{\beta }_0},\widehat{{\beta }_1})=-\frac{\bar{x}}{L_{xx}}{\sigma }^2$

$D(\widehat{y_0})=D(\widehat{{\beta }_0})+D(\widehat{{\beta }_1}{x}_0)+2Cov(\widehat{{\beta }_0},\widehat{{\beta }_1}{x}_0)=(\frac{1}{n}+\frac{(\bar{x}-x_0{)}^2}{L_{xx}}){\sigma }^2$

$\widehat{y_0}\sim N({\beta }_0+{\beta }_1{x}_0,(\frac{1}{n}+\frac{(x_0-\bar{x}{)}^2}{L_{xx}}){\sigma }^2)$
于是$E(y_0)$的置信度为$1-\alpha$的置信区间为：
$$(\widehat{y_0}-{\delta }_0,\widehat{y_0}+{\delta }_0),\delta =t_{\frac{\alpha }{2}}(n-2)\hat{\sigma }\sqrt{\frac{1}{n}+\frac{(x_0-\bar{x}{)}^2}{L_{xx}}}$$

区间预测

y 0 − y 0 ^ ∼ N ( 0 , [ 1 + 1 n + ( x 0 − x ˉ ) 2 L x x ] σ 2 ) U = y 0 − y 0 ^ σ 1 + 1 n + ( x 0 − x ˉ ) 2 L x x ∼ N ( 0 , 1 ) T = y 0 − y 0 ^ σ ^ 1 + 1 n + ( x 0 − x ˉ ) 2 L x x ∼ t ( n − 2 ) y0−^y0∼N(0,[1+1n+(x0−ˉx)2Lxx]σ2)U=y0−^y0σ√1+1n+(x0−ˉx)2Lxx∼N(0,1)T=y0−^y0ˆσ√1+1n+(x0−ˉx)2Lxx∼t(n−2)

y0​−y0​^​∼N(0,[1+n1​+Lxx​(x0​−xˉ)2​]σ2)U=σ1+n1​+Lxx​(x0​−xˉ)2​ ​y0​−y0​^​​∼N(0,1)T=σ^1+n1​+Lxx​(x0​−xˉ)2​ ​y0​−y0​^​​∼t(n−2)​

因此，$y_0$的置信度为$1-\alpha$的区间为
$$(\widehat{y_0}-\delta ,\widehat{y_0}+\delta ),\delta =t_{\frac{\alpha }{2}}(n-2)\hat{\sigma }\sqrt{1+\frac{1}{n}+\frac{(x_0-\bar{x}{)}^2}{L_{xx}}}$$

可线性化的一元非线性回归