人工智能 多元线性回归（一）

人工智能 多元线性回归（一）

一．定义

在回归分析中，如果有两个或两个以上的自变量，就称为多元回归。事实上，一种现象常常是与多个因素相联系的，由多个自变量的最优组合共同来预测或估计因变量，比只用一个自变量进行预测或估计更有效，更符合实际。因此多元线性回归比一元线性回归的实用意义更大。

二．公式

——多元线性回归模型

1.建立模型

以二元线性回归模型为例 ，二元线性回归模型如下：

y1= 

 

类似的使用最小二乘法进行参数估计  ：

 

 

 

2.拟合优度指标

标准误差：对y值与模型估计值之间的离差的一种度量。其计算公式为：

                ​​​​​​​        

 

3.置信范围

置信区间的公式为：置信区间=

 

其中，tp是自由度为n-k 的t 统计量数值表中的数值,n是观察值的个数，k是包括因变量在内的变量的个数。

 

三．估计方法

1.普通最小二乘法

普通最小二乘法(Ordinary Least Square, OLS)通过最小化误差的平方和寻找最佳函数。通过矩阵运算求解系数矩阵：

 

2.广义最小二乘法

广义最小二乘法(Generalized Least Square)是普通最小二乘法的拓展，它允许在误差项存在异方差或自相关，或二者皆有时获得有效的系数估计值。公式如下：

 

其中，Ω是残差项的协方差矩阵。