最小二乘法

1、扯皮

       1801年，意大利天文学家朱赛普·皮亚齐发现了第一颗小行星谷神星。经过40天的跟踪观测后，由于谷神星运行至太阳背后，使得皮亚齐失去了谷神星的位置。随后全世界的科学家利用皮亚齐的观测数据开始寻找谷神星，但是根据大多数人计算的结果来寻找谷神星都没有结果。只有时年24岁的高斯所计算的谷神星的轨道，被奥地利天文学家海因里希·奥尔伯斯的观测所证实，使天文界从此可以预测到谷神星的精确位置。同样的方法也产生了哈雷彗星等很多天文学成果。高斯使用的方法就是最小二乘法，该方法发表于1809年他的著作《天体运动论》中。其实法国科学家勒让德于1806年独立发明“最小二乘法”，但因不为世人所知而默默无闻。

       1829年，高斯提供了最小二乘法的优化效果强于其他方法的证明。

2、最小二乘法是回归分析中的一种标准方法，二乘即平方，也可以说是最小平方法。

矩阵化：

求导：   

            

正则化 作用：防止过拟合

           

3、局限性：

第一，最小二乘法需要计算 的逆矩阵，有可能它的逆矩阵不存在，这样就没有办法直接用最小二乘法了，此时梯度下降法仍然可以使用。当然，我们可以通过对样本数据进行整理，去掉冗余特征。让 的行列式不为0，然后继续使用最小二乘法。

第二，当样本特征 n 非常的大的时候，计算  的逆矩阵是一个非常耗时的工作（ n×n 的矩阵求逆），甚至不可行。此时以梯度下降为代表的迭代法仍然可以使用。那这个 n 到底多大就不适合最小二乘法呢？如果你没有很多的分布式大数据计算资源，建议超过10000个特征就用迭代法吧。或者通过主成分分析降低特征的维度后再用最小二乘法。

第三，如果拟合函数不是线性的，这时无法使用最小二乘法，需要通过一些技巧转化为线性才能使用，此时梯度下降仍然可以用。

参考：最小二乘法（least sqaure method） - 知乎