• 最小二乘法


    1、扯皮

           1801年,意大利天文学家朱赛普·皮亚齐发现了第一颗小行星谷神星。经过40天的跟踪观测后,由于谷神星运行至太阳背后,使得皮亚齐失去了谷神星的位置。随后全世界的科学家利用皮亚齐的观测数据开始寻找谷神星,但是根据大多数人计算的结果来寻找谷神星都没有结果。只有时年24岁的高斯所计算的谷神星的轨道,被奥地利天文学家海因里希·奥尔伯斯的观测所证实,使天文界从此可以预测到谷神星的精确位置。同样的方法也产生了哈雷彗星等很多天文学成果。高斯使用的方法就是最小二乘法,该方法发表于1809年他的著作《天体运动论》中。其实法国科学家勒让德于1806年独立发明“最小二乘法”,但因不为世人所知而默默无闻。

           1829年,高斯提供了最小二乘法的优化效果强于其他方法的证明。

    2、最小二乘法是回归分析中的一种标准方法,二乘即平方,也可以说是最小平方法。

    f(x)=\theta _{0}+\theta _{1}*x _{1}+\theta _{2}*x _{2}+...+\theta _{n}*x _{n}

    h(x)=\sum (f(x)-y))^{2}

    矩阵化:J(\theta) = \frac{1}{2}(X \theta-Y)^{T}*(X* \theta-Y)

    求导:   \frac{\partial J(\theta) }{\partial \theta}=X^{T}*(X*\theta-Y) =0

                \theta=(X^{T}X)^{-1}X^{T}Y

    正则化 作用:防止过拟合

               Q(x)=\sum_{i=1}^{n}(f(x)-y))^{2}+\lambda \left \| w \right \|^{2}

    3、局限性:

    第一,最小二乘法需要计算 X^{T}X的逆矩阵,有可能它的逆矩阵不存在,这样就没有办法直接用最小二乘法了,此时梯度下降法仍然可以使用。当然,我们可以通过对样本数据进行整理,去掉冗余特征。让 X^{T}X的行列式不为0,然后继续使用最小二乘法。

    第二,当样本特征 n 非常的大的时候,计算 X^{T}X 的逆矩阵是一个非常耗时的工作( n×n 的矩阵求逆),甚至不可行。此时以梯度下降为代表的迭代法仍然可以使用。那这个 n 到底多大就不适合最小二乘法呢?如果你没有很多的分布式大数据计算资源,建议超过10000个特征就用迭代法吧。或者通过主成分分析降低特征的维度后再用最小二乘法。

    第三,如果拟合函数不是线性的,这时无法使用最小二乘法,需要通过一些技巧转化为线性才能使用,此时梯度下降仍然可以用。

    参考:最小二乘法(least sqaure method) - 知乎

  • 相关阅读:
    JVM常用概念之锁粗化和循环
    力扣 设计链表707
    LTV预测算法从开发到上线,浅谈基于奇点云DataSimba的MLOps实践
    MVP的最佳架构:单体结构、SOA、微服务还是Serverless?
    MySQL-1(12000字详解)
    Promethues(五)查询-PromQL 语言-保证易懂好学
    「太阁干货」详细解析MPLS转发原理
    linux 防火墙
    group by and union all
    【微服务专题】Nacos详解
  • 原文地址:https://blog.csdn.net/qq_41485193/article/details/126537473