• 线性回归算法


    目录

    1.概念

    2.例子

    3.线性回归经常使⽤的两种优化算法

    3.0背景(损失函数)

    3.1正规⽅程

    3.2梯度下降

     3.3两个方法对比

    4.岭回归

     5.模型的保存和加载

    1.概念

     

    线性回归(Linear regression)是利⽤回归⽅程(函数)对⼀个或多个⾃变量(特征值)和因变量(⽬标值)之间关系进⾏建模的 ⼀种分析⽅式。

    理解为: 1.期末成绩:0.7×考试成绩+0.3×平时成绩

    2.房⼦价格 = 0.02×中⼼区域的距离 + 0.04×城市⼀氧化氮浓度 + (-0.12×⾃住房平均房价) + 0.254×城镇犯罪率

    2.例子

    1. from sklearn.linear_model import LinearRegression
    2. x = [[80, 86],
    3. [82, 80],
    4. [85, 78],
    5. [90, 90],
    6. [86, 82],
    7. [82, 90],
    8. [78, 80],
    9. [92, 94]]
    10. #第一列平均成绩,第二列期末成绩
    11. y = [84.2, 80.6, 80.1, 90, 83.2, 87.6, 79.4, 93.4]
    12. # 实例化API
    13. estimator = LinearRegression()
    14. # 使⽤fit⽅法进⾏训练
    15. estimator.fit(x,y)
    16. prediction=estimator.predict([[100, 80]])
    17. print(prediction)
    18. print(estimator.coef_)

    3.线性回归经常使⽤的两种优化算法

    3.0背景(损失函数

     y 为第i个训练样本的真实值  h(x )为第i个训练样本特征值组合预测函数

    ⼜称最⼩⼆乘法,求损失函数最小值

    3.1正规⽅程

    理解:X为特征值矩阵,y为⽬标值矩阵。直接求到最好的结果

    缺点:当特征过多过复杂时,求解速度太慢并且得不到结果

    1. from sklearn.linear_model import LinearRegression
    2. from sklearn.preprocessing import StandardScaler
    3. from sklearn.datasets import load_boston
    4. from sklearn.model_selection import train_test_split
    5. from sklearn.metrics import mean_squared_error
    6. # 1.获取数据
    7. data = load_boston()
    8. # 2.数据集划分
    9. x_train, x_test, y_train, y_test = train_test_split(data.data, data.target, random_state=22) #数据划分默认0.25
    10. # 3.特征⼯程-标准化
    11. transfer = StandardScaler()
    12. x_train = transfer.fit_transform(x_train)
    13. x_test = transfer.fit_transform(x_test)
    14. # 4.机器学习-线性回归(正规⽅程)
    15. estimator = LinearRegression()
    16. estimator.fit(x_train, y_train)
    17. # 5.模型评估
    18. # 5.1 获取系数等值
    19. y_predict = estimator.predict(x_test)
    20. print("预测值为:\n", y_predict)
    21. print("模型中的系数为:\n", estimator.coef_)
    22. print("模型中的偏置为:\n", estimator.intercept_)
    23. # 5.2 评价
    24. # 均⽅误差
    25. error = mean_squared_error(y_test, y_predict)
    26. print("误差为:\n", error)

    3.2梯度下降

     1.α在梯度下降算法中被称作为学习率或者步⻓,意味着我们可以通过α来控制每⼀步⾛的距离,走太快,错过最低点,走太慢,效率慢

    2.梯度的⽅向实际就是函数在此点上升最快的 ⽅向!⽽我们需要朝着下降最快的⽅向⾛,⾃然就是负的梯度的⽅向

     公式步骤演示:我们假设有⼀个单变量的函数 :J(θ) = θ 函数的微分:J (θ) = 2θ 初始化,起点为: θ = 1 学习率:α = 0.4

     如图,经过四次的运算,也就是⾛了四步,基本就抵达了函数的最低点,也就是⼭底

     3.3两个方法对比

    梯度下降法和正规⽅程选择依据

    ⼩规模数据: 正规⽅程:LinearRegression(不能解决拟合问题)

                            岭回归

    ⼤规模数据: 梯度下降法:SGDRegressor 

    4.岭回归

    1. from sklearn.linear_model import Ridge,RidgeCV
    2. from sklearn.preprocessing import StandardScaler
    3. from sklearn.datasets import load_boston
    4. from sklearn.model_selection import train_test_split
    5. from sklearn.metrics import mean_squared_error
    6. # 1.获取数据
    7. data = load_boston()
    8. # 2.数据集划分
    9. x_train, x_test, y_train, y_test = train_test_split(data.data, data.target, random_state=22) #数据划分默认0.25
    10. # 3.特征⼯程-标准化
    11. transfer = StandardScaler()
    12. x_train = transfer.fit_transform(x_train)
    13. x_test = transfer.fit_transform(x_test)
    14. # 4.机器学习-线性回归(岭回归)
    15. estimator = Ridge(alpha=1) #alpha为正则化
    16. # estimator = RidgeCV(alphas=(0.1, 1, 10))
    17. estimator.fit(x_train, y_train)
    18. # 5.模型评估
    19. # 5.1 获取系数等值
    20. y_predict = estimator.predict(x_test)
    21. print("预测值为:\n", y_predict)
    22. print("模型中的系数为:\n", estimator.coef_)
    23. print("模型中的偏置为:\n", estimator.intercept_)
    24. # 5.2 评价
    25. # 均⽅误差
    26. error = mean_squared_error(y_test, y_predict)
    27. print("误差为:\n", error)

     5.模型的保存和加载

    1. from sklearn.linear_model import Ridge,RidgeCV
    2. from sklearn.preprocessing import StandardScaler
    3. from sklearn.datasets import load_boston
    4. from sklearn.model_selection import train_test_split
    5. from sklearn.metrics import mean_squared_error
    6. import joblib
    7. # 1.获取数据
    8. data = load_boston()
    9. # 2.数据集划分
    10. x_train, x_test, y_train, y_test = train_test_split(data.data, data.target, random_state=22) #数据划分默认0.25
    11. # 3.特征⼯程-标准化
    12. transfer = StandardScaler()
    13. x_train = transfer.fit_transform(x_train)
    14. x_test = transfer.fit_transform(x_test)
    15. # 4.机器学习-线性回归(岭回归)
    16. # #4.1模型训练
    17. # estimator = Ridge(alpha=1) #alpha为正则化
    18. # # estimator = RidgeCV(alphas=(0.1, 1, 10))
    19. # estimator.fit(x_train, y_train)
    20. # #4.2模型保存
    21. # joblib.dump(estimator,"./machineLearnCode/LinearRegressionTest/test.pkl")
    22. #4.3模型加载
    23. estimator=joblib.load("./machineLearnCode/LinearRegressionTest/test.pkl")
    24. # 5.模型评估
    25. # 5.1 获取系数等值
    26. y_predict = estimator.predict(x_test)
    27. print("预测值为:\n", y_predict)
    28. print("模型中的系数为:\n", estimator.coef_)
    29. print("模型中的偏置为:\n", estimator.intercept_)
    30. # 5.2 评价
    31. # 均⽅误差
    32. error = mean_squared_error(y_test, y_predict)
    33. print("误差为:\n", error)

     

     

  • 相关阅读:
    ElementUI组件-日期时间控件设置禁用日期
    CSharp Library develop histroy
    【AI】PyTorch入门(七):优化模型参数
    一个WPF开发的、界面简洁漂亮的音频播放器
    【jvm】虚拟机之本地方法栈
    【C++】运行时类型识别
    matlab 计算数组中所有值的均值
    shell_55.Linux临时重定向
    绘画新手必备!六款免费易用的绘图软件推荐
    幻兽帕鲁服务器配置怎么选?多少钱?
  • 原文地址:https://blog.csdn.net/herry57/article/details/125349598