AI人工智能学习之回归分析

回归分析

在统计学中，回归分析（regression analysis)指的是确定两种或两种以上变量间相互依赖的定量关系的一种统计分析方法。回归分析按照涉及的变量的多少，分为一元回归和多元回归分析；按照因变量的多少，可分为简单回归分析和多重回归分析；按照自变量和因变量之间的关系类型，可分为线性回归分析和非线性回归分析。

回归分析的主要内容为：
①从一组数据出发，确定某些变量之间的定量关系式，即建立数学模型并估计其中的未知参数。估计参数的常用方法是最小二乘法。
②对这些关系式的可信程度进行检验。
③在许多自变量共同影响着一个因变量的关系中，判断哪个（或哪些）自变量的影响是显著的，哪些自变量的影响是不显著的，将影响显著的自变量加入模型中，而剔除影响不显著的变量，通常用逐步回归、向前回归和向后回归等方法。
④利用所求的关系式对某一生产过程进行预测或控制。回归分析的应用是非常广泛的，统计软件包使各种回归方法计算十分方便。

在回归分析中，把变量分为两类。一类是因变量，它们通常是实际问题中所关心的一类指标，通常用Y表示；而影响因变量取值的的另一类变量称为自变量，用X来表示。

回归分析研究的主要问题是：
（1）确定Y与X间的定量关系表达式，这种表达式称为回归方程；
（2）对求得的回归方程的可信度进行检验；
（3）判断自变量X对因变量Y有无影响；
（4）利用所求得的回归方程进行预测和控制。

一元线性回归

在一元线性回归中只有两个变量，一个是因变量，另一个是自变量，其回归方程可以表示为：

y=α+βx+ε" role="presentation">y=α+βx+ε$y=\alpha +\beta x+\epsilon$   （理论回归方程）

式中y为因变量；x为自变量；α是常数项或截距项；β是自变量x的回归系数； ε 是随机误差项，通常假设是随机的，服从正太分布 ε∼N（0，σ2" role="presentation">σ2${\sigma }^2$） ，并且，假设 ε 与自变量x无关。式中将实际问题中变量y与x之间的关系用两个部分描述：一部分是由于x的变化引起的y的线性变化，即 α+βx ;另一部分是由其他一切随机因素引起的，记为 ε 。

多元线性回归

很多事件的发生不是相互独立的，而是相互作用、相互影响的。一种结果的出现往往是多个因素、多个环节共同作用的结果。需要同时考虑多个因素对同一结果的影响。

设有p个自变量（ x1,x2,x3,...,xp" role="presentation">x1,x2,x3,...,xp$x_1,x_2,x_3,...,x_p$ ），有n个观察对象，第i个（i=1,2，3，…，n）观察对象的一组观察值为（yi,xi1,xi2,...,xip" role="presentation">yi,xi1,xi2,...,xip$y_i,x_{i1},x_{i2},...,x_{ip}$） 。当因变量与自变量组之间存在多重线性关系时，用多重线性回归模型表示为：

yi=y^i+ei=α+βixi1+...+βpxip+ei" role="presentation">yi=y^i+ei=α+βixi1+...+βpxip+ei$y_i={\hat{y}}_i+e_i=\alpha +{\beta }_i{x}_{i1}+...+{\beta }_p{x}_{ip}+e_i$

由上式我们可以知道，每个因变量的实测值 yi" role="presentation">yi$y_i$ 由两部分组成：

一部分是其估计值，用 y^i" role="presentation">y^i$y{\hat{}}_i$ 表示，即给定各自变量取值时因变量 yi" role="presentation">yi$y_i$ 的估计值，它表示因变量的变异中能由自变量决定的部分。

ei" role="presentation">ei$e_i$ 为残差，是因变量实测值