• 机器学习：逻辑回归--过采样

    目录

    前言

    一、为什么使用过采样？

    二、代码实现

    1.完整代码

    2.数据预处理

    3.进行过采样

    4.建立模型

    5.绘制混淆矩阵

    总结

    前言

            过采样（Oversampling）是指在数据处理或机器学习中，增加少数类样本的数量以平衡类别分布。常用于处理类别不平衡问题，通过复制少数类样本或生成新样本来提高模型对少数类的识别能力。

     

    一、为什么使用过采样？

    • 当不同类别的数据量不均衡时

     

    • 这会导致某一类别的正确率很低

     

    • 这时可以使用过采样方法：
      • 先分出训练集和测试集
      • 使用过采样方法拟合类别少的数据
      • 使两种类型的数据均衡

     

    • 此时结果不同类别的正确率将会得到提高

     

    二、代码实现

    1.完整代码

    1. import pandas as pd
    2. import matplotlib.pyplot as plt
    3. import numpy as np
    4.  
    5.  
    6. # 可视化混淆矩阵
    7. def cm_plot(y, yp):
    8.     from sklearn.metrics import confusion_matrix
    9.     import matplotlib.pyplot as plt
    10.  
    11.     cm = confusion_matrix(y, yp)
    12.     plt.matshow(cm, cmap=plt.cm.Blues)
    13.     plt.colorbar()
    14.     for x in range(len(cm)):
    15.         for y in range(len(cm)):
    16.             plt.annotate(cm[x, y], xy=(y, x), horizontalalignment='center',
    17.                          verticalalignment='center')
    18.             plt.ylabel('True label')
    19.             plt.xlabel('Predicted label')
    20.     return plt
    21.  
    22.  
    23. data = pd.read_csv("creditcard.csv")
    24.  
    25. # 数据标准化: Z标准化
    26. from sklearn.preprocessing import StandardScaler  # 可对多列进行标准化
    27.  
    28. scaler = StandardScaler()
    29. a = data[['Amount']]  # 取出来变成df数据 因为fit_transform()需要传入df数据
    30. data['Amount'] = scaler.fit_transform(a)  # 对Amount列数据进行标准化
    31. data = data.drop(['Time'], axis=1)  # 删除无用列
    32.  
    33. # 随机取数据 小数据集
    34. from sklearn.model_selection import train_test_split
    35.  
    36. x = data.drop('Class', axis=1)
    37. y = data.Class
    38. x_w_train, x_w_test, y_w_train, y_w_test = \
    39.     train_test_split(x, y, test_size=0.2, random_state=0)  # 随机取数据
    40.  
    41. """过采样"""
    42. from imblearn.over_sampling import SMOTE
    43.  
    44. oversampler = SMOTE(random_state=0)  # 随机种子 保证数据拟合效果
    45. x_os, y_os = oversampler.fit_resample(x_w_train, y_w_train)  # 通过原始训练集的特征和标签数据人工拟合一份训练集和标签
    46.  
    47. # 绘制条形图 查看样本个数
    48. plt.rcParams['font.sans-serif'] = ['SimHei']  # 设置字体
    49. plt.rcParams['axes.unicode_minus'] = False  # 解决符号显示为方块的问题
    50. labels_count = pd.value_counts(y_os)  # 统计0有多少个数据，1有多个数据
    51. plt.title("正负例样本数")
    52. plt.xlabel("类别")
    53. plt.ylabel("频数")
    54. labels_count.plot(kind='bar')  # 生成一个条形图，展示每个类别的样本数量。
    55. plt.show()
    56.  
    57. x_os_train, x_os_test, y_os_train, y_os_test = \
    58.     train_test_split(x_os, y_os, test_size=0.2, random_state=0)  # 随机取数据
    59.  
    60. # 交叉验证选择较优惩罚因子 λ
    61. from sklearn.model_selection import cross_val_score  # 交叉验证的函数
    62. from sklearn.linear_model import LogisticRegression
    63.  
    64. # k折交叉验证选择C参数
    65. scores = []
    66. c_param_range = [0.01, 0.1, 1, 10, 100]  # 待选C参数
    67. for i in c_param_range:
    68.     lr = LogisticRegression(C=i, penalty='l2', solver='lbfgs', max_iter=1000)  # 创建逻辑回归模型  lbfgs 拟牛顿法
    69.     score = cross_val_score(lr, x_os_train, y_os_train, cv=8, scoring='recall')  # k折交叉验证 比较召回率
    70.     score_mean = sum(score) / len(score)
    71.     scores.append(score_mean)
    72.     print(score_mean)
    73.  
    74. best_c = c_param_range[np.argmax(scores)]  # 寻找到scores中最大值的对应的C参数
    75. print(f"最优惩罚因子为:{best_c}")
    76.  
    77. # 建立最优模型
    78. lr = LogisticRegression(C=best_c, penalty='l2', max_iter=1000)
    79. lr.fit(x_os_train, y_os_train)
    80.  
    81. # 绘制混淆矩阵
    82. from sklearn import metrics
    83.  
    84. x_os_train_predicted = lr.predict(x_os_train)  # 训练集特征数据x的预测值
    85. print(metrics.classification_report(y_os_train, x_os_train_predicted))  # 传入训练集真实的结果数据 与预测值组成矩阵
    86.  
    87. x_os_test_predicted = lr.predict(x_os_test)  # 训练集特征数据x的预测值
    88. print(metrics.classification_report(y_os_test, x_os_test_predicted))  # 传入训练集真实的结果数据 与预测值组成矩阵
    89.  
    90. x_w_test_predicted = lr.predict(x_w_test)
    91. print(metrics.classification_report(y_w_test, x_w_test_predicted))

     

    2.数据预处理

    • 导入数据
    • 对特征进行标准化
    • 随机取出训练集和测试集
    1. import pandas as pd
    2. import matplotlib.pyplot as plt
    3. import numpy as np
    4.  
    5. data = pd.read_csv("creditcard.csv")
    6.  
    7. # 数据标准化: Z标准化
    8. from sklearn.preprocessing import StandardScaler  # 可对多列进行标准化
    9.  
    10. scaler = StandardScaler()
    11. a = data[['Amount']]  # 取出来变成df数据 因为fit_transform()需要传入df数据
    12. data['Amount'] = scaler.fit_transform(a)  # 对Amount列数据进行标准化
    13. data = data.drop(['Time'], axis=1)  # 删除无用列
    14.  
    15. # 随机取数据 小数据集
    16. from sklearn.model_selection import train_test_split
    17.  
    18. x = data.drop('Class', axis=1)
    19. y = data.Class
    20. x_w_train, x_w_test, y_w_train, y_w_test = \
    21.     train_test_split(x, y, test_size=0.2, random_state=0)  # 随机取数据

     

    3.进行过采样

    • 使用over_sampling 里的SMOTE模块
    • 对训练集数据进行过采样，拟合数据
    • 查看拟合之后的数据集
    • 从该数据集中分出训练集和测试集
    1. """过采样"""
    2. from imblearn.over_sampling import SMOTE
    3.  
    4. oversampler = SMOTE(random_state=0)  # 随机种子 保证数据拟合效果
    5. x_os, y_os = oversampler.fit_resample(x_w_train, y_w_train)  # 通过原始训练集的特征和标签数据人工拟合一份训练集和标签
    6.  
    7. # 绘制条形图 查看样本个数
    8. plt.rcParams['font.sans-serif'] = ['SimHei']  # 设置字体
    9. plt.rcParams['axes.unicode_minus'] = False  # 解决符号显示为方块的问题
    10. labels_count = pd.value_counts(y_os)  # 统计0有多少个数据，1有多个数据
    11. plt.title("正负例样本数")
    12. plt.xlabel("类别")
    13. plt.ylabel("频数")
    14. labels_count.plot(kind='bar')  # 生成一个条形图，展示每个类别的样本数量。
    15. plt.show()
    16.  
    17. x_os_train, x_os_test, y_os_train, y_os_test = \
    18.     train_test_split(x_os, y_os, test_size=0.2, random_state=0)  # 随机取数据

    输出：

     

    4.建立模型

    • 使用k折交叉验证法选出最佳的C参数
    • 训练所使用的数据是从拟合数据里取出来的训练集
    • 建立最优模型
    1. # 交叉验证选择较优惩罚因子 λ
    2. from sklearn.model_selection import cross_val_score  # 交叉验证的函数
    3. from sklearn.linear_model import LogisticRegression
    4.  
    5. # k折交叉验证选择C参数
    6. scores = []
    7. c_param_range = [0.01, 0.1, 1, 10, 100]  # 待选C参数
    8. for i in c_param_range:
    9.     lr = LogisticRegression(C=i, penalty='l2', solver='lbfgs', max_iter=1000)  # 创建逻辑回归模型  lbfgs 拟牛顿法
    10.     score = cross_val_score(lr, x_os_train, y_os_train, cv=8, scoring='recall')  # k折交叉验证 比较召回率
    11.     score_mean = sum(score) / len(score)
    12.     scores.append(score_mean)
    13.     print(score_mean)
    14.  
    15. best_c = c_param_range[np.argmax(scores)]  # 寻找到scores中最大值的对应的C参数
    16. print(f"最优惩罚因子为:{best_c}")
    17.  
    18. # 建立最优模型
    19. lr = LogisticRegression(C=best_c, penalty='l2', max_iter=1000)
    20. lr.fit(x_os_train, y_os_train)

    输出：

    1. 0.9096726221315528
    2. 0.9106337846987276
    3. 0.9109523409608787
    4. 0.9110237415273612
    5. 0.9110182489533213
    6. 最优惩罚因子为:10

     

    5.绘制混淆矩阵

    • 分别使用原始数据里取出来的测试集，拟合数据里取出来的训练集和测试集进行混淆矩阵的绘制
    1. # 绘制混淆矩阵
    2. from sklearn import metrics
    3.  
    4. x_os_train_predicted = lr.predict(x_os_train)  # 训练集特征数据x的预测值
    5. print(metrics.classification_report(y_os_train, x_os_train_predicted))  # 传入训练集真实的结果数据 与预测值组成矩阵
    6.  
    7. x_os_test_predicted = lr.predict(x_os_test)  # 训练集特征数据x的预测值
    8. print(metrics.classification_report(y_os_test, x_os_test_predicted))  # 传入训练集真实的结果数据 与预测值组成矩阵
    9.  
    10. x_w_test_predicted = lr.predict(x_w_test)
    11. print(metrics.classification_report(y_w_test, x_w_test_predicted))

    输出：

    1.  precision    recall  f1-score   support
    2.  
    3.            0       0.92      0.98      0.94    181855
    4.            1       0.97      0.91      0.94    182071
    5.  
    6.     accuracy                           0.94    363926
    7.    macro avg       0.94      0.94      0.94    363926
    8. weighted avg       0.94      0.94      0.94    363926
    9.  
    10.               precision    recall  f1-score   support
    11.  
    12.            0       0.92      0.98      0.95     45599
    13.            1       0.97      0.91      0.94     45383
    14.  
    15.     accuracy                           0.94     90982
    16.    macro avg       0.95      0.94      0.94     90982
    17. weighted avg       0.94      0.94      0.94     90982
    18.  
    19.               precision    recall  f1-score   support
    20.  
    21.            0       1.00      0.98      0.99     56861
    22.            1       0.06      0.94      0.12       101
    23.  
    24.     accuracy                           0.98     56962
    25.    macro avg       0.53      0.96      0.55     56962
    26. weighted avg       1.00      0.98      0.99     56962

     

    总结

            过采样适合不同类别数据不均衡的情况，下采样虽然也适合，但是一般情况下过采样要更加优秀

  • 相关阅读:
    通过浏览器F12开发者工具的javascript控制台给Vue表单赋值
    Go ：测试涉及NaN的浮点比较(附完整源码)
    JavaWeb初学项目的问题排查思路
    Android Sensor调试
    “蔚来杯“2022牛客暑期多校训练营8 D题: Poker Game: Decision
    土地利用程度综合指数计算/argis教程
    Vue的快速入门（01）
    Django-可重用注册登录系统--项目搭建
    Python Requests 丨爬虫基础入门
    自制快速冒烟测试小工具--基于python多线程
  • 原文地址：https://blog.csdn.net/weixin_65047977/article/details/142185282