回归分析处理

回归分析处理

 线性回归

 最小二乘法

对于某数据量有呈线性关系的输出量，且 $y=a_{1}x+a_{2}$ ，现有对这些数据量的采集序列 $(x_{1},y_{1}),(x_{2},y_{2}),(x_{3},y_{3})...$ ，这些采集量会存在随机误差 $v_{1},v_{2},v_{3}...$ ，线性回归的目的便是找到保证使误差最小的情况下的回归系数 $a_{1},a_{2 }$ 。

即通过下列方程组求

$v_{1}=y_{1}-(a_{1}x_{1}+a_{2})\\ v_{2}=y_{2}-(a_{1}x_{2}+a_{2})\\ v_{3}=y_{3}-(a_{1}x_{3}+a_{2})...$

可利用最小二乘法，先获取正规方程：
系数矩阵为

$\begin{bmatrix} x_1&1 \\ x_2 & 1 \\ x_3& 1\\ ... \end{bmatrix}$

误差向量为
$\begin{bmatrix} v_1\\ v_2\\ v_3\\ ... \end{bmatrix}$
回归系数向量为
$\begin{bmatrix} a_1\\ a_2\\ \end{bmatrix}$

输出向量为
$\begin{bmatrix} y_1\\ y_2\\ y_3\\ ... \end{bmatrix}$

正规方程为 $A^{T}V=0$ ，由于，故 $X=(A^TA)^{-1}A^TY$ 。

由此得到回归系数。对于不等精度测量，只需在误差向量前乘上权值向量即可。

最小二乘法精度估计

最小二乘法所得到的回归系数的精度取决于测量数据集的精度，有不定乘数矩阵

$D=(A^TA)^{-1 }$ ，对于等精度测量所得，其标准差为 $\sigma$ ，则估计量的协方差为

$D(X)=D\sigma ^2$ ，若为不等精度测量，则 $D=(A^TPA)^{-1}$ 。

对于多元线性回归，仍采用最小二乘法求解。

线性递推回归

上述回归，是基于一次性得到全部测量结果计算的，而在动态测量中，数据数量是逐渐增加的，若需实时进行回归处理，那么每当获得一个新数据便需要及时解出回归方程的新系数，解法如下。

假如已经采集了组数据，那么根据上述正规方程的解法有 $X_N=(A_N^TA_N)^{-1}A_N^TY$ ，此时新加入测量量 $x_{1_{N+1}},x_{2_{N+1}},x_{3_{N+1}}...y_{N+1}$ ，令 $x_{N+1}=(x_{1_{N+1}},x_{2_{N+1}},x_{3_{N+1}}...)$ 则

$k_{N+1}=(1+x_{N+1}^T(X_{N}^TX_N)^{-1}x_{N+1})^{-1}(X_{N}^TX_N)^{-1}x_{N+1}$

$\Delta x=k_{N+1}(y_{N+1}-(x_{N+1}^TX_N))\\ X_{N+1}=X_N+\Delta x$

令 $C_N=(X_N^TX_N)^{-1}$ 则

$\Delta C=-k_{N+1}x_{N+1}^TC_N\\ C_{N+1}=C_N+\Delta C$
相关阅读:
顶象首期业务安全月报
 HTML + CSS: 实现Tab导航栏（一）
【三维目标检测】Pointpillars（二）
Xray联动crawlergo自动扫描教程
 7. 堪比JMeter的.Net压测工具 - Crank 总结篇 - crank带来了什么
 本地生活商家想选择靠谱的服务商就这样做，还可以借助批量剪辑来进一步提升营销价值
 vue中el-dialog 中的内容没有预先加载，因此无法获得内部元素的ref 的解决方案使用强制提前加载dialog方法
 python学习手册
 Set和Map的用法
 机器学习原理和代码实现专辑
原文地址：https://blog.csdn.net/K_ZhJ18/article/details/131088653

线性回归

最小二乘法

最小二乘法精度估计

线性递推回归