• 机器学习必修课 - 交叉验证 Cross-Validation


    想象一下你有一个包含5000行数据的数据集。通常情况下,你会将约20%的数据保留作为验证数据集,即1000行。但这会在确定模型得分时引入一些随机性。也就是说,一个模型可能在一组1000行数据上表现良好,即使在另一组1000行数据上表现不准确。

    运行环境:Google Colab

    数据准备和预处理

    !git clone https://github.com/JeffereyWu/Housing-prices-data.git
    
    • 1
    import pandas as pd
    from sklearn.model_selection import train_test_split
    
    # Read the data
    train_data = pd.read_csv('/content/Housing-prices-data/train.csv', index_col='Id')
    test_data = pd.read_csv('/content/Housing-prices-data/test.csv', index_col='Id')
    
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    # Remove rows with missing target, separate target from predictors
    train_data.dropna(axis=0, subset=['SalePrice'], inplace=True)
    y = train_data.SalePrice              
    train_data.drop(['SalePrice'], axis=1, inplace=True)
    
    • 1
    • 2
    • 3
    • 4
    • 删除训练数据中带有缺失目标值的行,并将目标值(SalePrice)分离出来存储在变量y中。
    # Select numeric columns only
    numeric_cols = [cname for cname in train_data.columns if train_data[cname].dtype in ['int64', 'float64']]
    X = train_data[numeric_cols].copy()
    X_test = test_data[numeric_cols].copy()
    
    • 1
    • 2
    • 3
    • 4
    • 从训练数据中选择了仅包含数值型数据的列,存储在变量numeric_cols中。
    • 创建了训练特征数据集X,其中包含了数值型的特征列。
    • 创建了测试特征数据集X_test,也包含了数值型的特征列。
    from sklearn.ensemble import RandomForestRegressor
    from sklearn.pipeline import Pipeline
    from sklearn.impute import SimpleImputer
    
    my_pipeline = Pipeline(steps=[
        ('preprocessor', SimpleImputer()),
        ('model', RandomForestRegressor(n_estimators=50, random_state=0))
    ])
    
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 上面的管道将使用SimpleImputer()来替换数据中的缺失值,然后使用RandomForestRegressor()来训练一个随机森林模型进行预测。我们可以通过n_estimators参数来设置随机森林模型中树的数量,并通过设置random_state参数来确保结果的可重复性。

    在交叉验证中,我们对数据的不同子集运行我们的建模过程,以获取模型质量的多个度量值。

    例如,我们可以将数据分成5个部分,每个部分占全数据集的20%。在这种情况下,我们称将数据分成了5个“折叠”(fold)。

    然后,我们对每个折叠运行一次实验:
    在这里插入图片描述

    1. 在实验1中,我们将第一个折叠作为验证(或保留)集,将其他所有部分作为训练数据。这样可以基于一个20%的保留集来度量模型的质量。
    2. 在实验2中,我们保留第二个折叠的数据(并使用除第二个折叠之外的所有数据来训练模型)。然后,保留集用于获取模型质量的第二个估计值。

    我们重复这个过程,每个折叠都曾被用作保留集。综合起来,100%的数据都会在某个时刻被用作保留集,最终我们会得到一个基于数据集中所有行的模型质量度量(即使我们不同时使用所有行)。

    from sklearn.model_selection import cross_val_score
    
    # Multiply by -1 since sklearn calculates *negative* MAE
    scores = -1 * cross_val_score(my_pipeline, X, y,
                                  cv=5,
                                  scoring='neg_mean_absolute_error')
    
    print("Average MAE score:", scores.mean())
    
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 使用cross_val_score()函数来获取平均绝对误差(MAE),该值是在五个不同的折叠上求平均得到的。我们通过cv参数来设置折叠的数量。

    Average MAE score: 18276.410356164386

    定义一个函数用于评估随机森林回归模型在不同树的数量(n_estimators)下的性能。

    def get_score(n_estimators):
        my_pipeline = Pipeline(steps=[
            ('preprocessor', SimpleImputer()),
            ('model', RandomForestRegressor(n_estimators, random_state=0))
        ])
        scores = -1 * cross_val_score(my_pipeline, X, y,
                                      cv=3,
                                      scoring='neg_mean_absolute_error')
        return scores.mean()
    
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
    results = {i: get_score(i) for i in range(50, 450, 50)}
    
    • 1
    • 评估随机森林模型在八个不同的树数量下的性能:50、100、150、…、300、350、400。将结果存储在一个字典results中,其中results[i]表示get_score(i)返回的平均MAE。
    import matplotlib.pyplot as plt
    %matplotlib inline
    
    plt.plot(list(results.keys()), list(results.values()))
    plt.show()
    
    • 1
    • 2
    • 3
    • 4
    • 5

    在这里插入图片描述
    由此可见,n_estimators设为200时,可得到最佳的随机森林模型。

  • 相关阅读:
    《006.Springboot+vue之旅游信息推荐系统》【有文档】
    阿里云张建锋:云计算变革被严重低估,新型计算体系正在到来
    javascript-根据数组中的一个属性或多个属性对数组进行排序
    strcmp · strn** | 使用场景与模拟实现
    【Unity3D】GUI控件
    css 高级选择器
    【知识点】分布式系统相关名词/概念/知识点
    如何在 Windows 上安装Protocol Buffers (Protobuf) ?
    【Linux集群教程】08 部署分布式存储Ceph高可用集群
    【面试】 C/C++面试题
  • 原文地址:https://blog.csdn.net/weixin_57266891/article/details/133698357