Python实现直方图梯度提升分类模型(HistGradientBoostingClassifier算法)并基于网格搜索进行优化同时绘制PDP依赖图项目实战

说明：这是一个机器学习实战项目（附带数据+代码+文档+视频讲解），如需数据+代码+文档+视频讲解可以直接到文章最后获取。

1.项目背景

基于直方图的梯度提升分类树。此估算器对缺失值 (NaN) 具有原生支持。在训练过程中，树种植者根据潜在增益在每个分割点学习具有缺失值的样本是应该去左孩子还是右孩子。在预测时，具有缺失值的样本因此被分配给左孩子或右孩子。如果在训练期间没有遇到给定特征的缺失值，则将具有缺失值的样本映射到拥有最多样本的子节点。

本项目通过直方图梯度提升分类模型来进行建模，并通过网格搜索算法进行模型的调优，使模型达到最优的效果，最后绘制特征的PDP依赖图。

2.数据获取

本次建模数据来源于网络(本项目撰写人整理而成)，数据项统计如下：

数据详情如下(部分展示)：

3.数据预处理

3.1 用Pandas工具查看数据

使用Pandas工具的head()方法查看前五行数据：

 关键代码：

3.2数据缺失查看

使用Pandas工具的info()方法查看数据信息：

从上图可以看到，总共有10个变量，数据中无缺失值，共1000条数据。

关键代码：

 

3.3数据描述性统计

通过Pandas工具的describe()方法来查看数据的平均值、标准差、最小值、分位数、最大值。

 关键代码如下：

4.探索性数据分析

4.1 y变量柱状图

用Matplotlib工具的plot()方法绘制柱状图：

4.2 y=1样本x1变量分布直方图

用Matplotlib工具的hist()方法绘制直方图：

从上图可以看出，y主要分布在-1~1之间。

4.3 相关性分析

从上图中可以看到，数值越大相关性越强，正值是正相关、负值是负相关。

5.特征工程

5.1 建立特征数据和标签数据

关键代码如下：

 

5.2 数据集拆分

通过train_test_split()方法按照80%训练集、20%测试集进行划分，关键代码如下：

6.构建直方图梯度提升分类模型

主要使用HistGradientBoostingClassifier算法和网格搜索优化算法，用于目标分类。

6.1默认参数构建模型

6.2 通过网格搜索寻找最优参数值

关键代码：

最优参数：

 6.3 最优参数值构建模型

7.模型评估

7.1 评估指标及结果

评估指标主要包括准确率、查准率、召回率、F1分值等等。

从上表可以看出，R方为0.92和默认的参数基本一致，说明基于本项目的数据，调优并未进一步提高模型效果，大家可以调优此模型的其它参数或者用新的数据进行尝试。

关键代码如下：

7.2 查看是否过拟合

 

从上图可以看出，训练集和测试集分值相当，无过拟合现象。

7.3 分类报告

 从上图可以看出，分类为0的F1分值为0.92；分类为1的F1分值为0.92。

7.4 混淆矩阵

 从上图可以看出，实际为0预测不为0的 有11个样本；实际为1预测不为1的 有5个样本，整体预测准确率良好。 

7.5 ROC曲线图

通过上图可以看出，AUC的数值为0.98，说明模型效果较好。

7.6 部分依赖图(PDP)绘制

如今机器学习算法在各个领域被广泛应用，对于一些领域的科研来说，机器学习提供了更精确估计的可能，但是其弱解释性却成为了更深入研究的阻力。可解释机器学习就是在机器学习模型的基础上通过一系列方法使得模型结果具备可解释的特性，部分依赖图（Partial Dependence Plot）显示了一个或两个特征对机器学习模型的预测结果的边际效应，由于很多机器学习算法非参数的特性使得部份依赖图可以揭示线性以及非线性特征，容易理解并且有较高的解释力。

部分依赖图简易并且直观，在科学研究中被经常使用，但同时它也具有一些问题：

1.自变量间可能存在复杂的交互关系导致最终的结果，所以单看一个变量的pdp图可能是不全面的，然而由于人们对图形理解力的局限性，pdp图最多只支持双变量的交互而无法进行更高维的交互，当然这个缺陷的主要来源是人们的主观理解能力有限。

2.一些pdp图不显示特征分布，这可能会产生误导，因为可能会过度解释几乎没有数据的区域。

3.pdp假设其计算部分依赖的特征与其他特征不相关（在不进行交互的情况下），这可能会导致结果的误差，一个解决办法是使用条件而不是边际分布的累积局部效应图。

4.由于pdp绘制的是平均响应，个体间的异质性可能无法被观察到，即有可能个体间的变化差异明显，这可以通过个体条件期望（Individual Conditional Expectation，ICE）曲线观察到。

5.取决于算法的精度以及难以避免的过拟合，pdp图可能存在许多较小的波动或变化趋势，而一般进行解释性研究时更加关注的是整体的变化趋势而不是局部变化。

PDP部分依赖图： 

带ICE置信区间的PDP图：

8.结论与展望

综上所述，本文采用了直方图梯度提升分类算法来构建分类模型，通过网格搜索算法找到最优的参数值，最终证明了我们提出的模型效果很好，可用于实际生产中进行预测，使企业发展得更好，利润更多。

# 本次机器学习项目实战所需的资料，项目资源如下：
 
# 项目说明：
 
# 链接：https://pan.baidu.com/s/1yCdakZsV4n7lxbZF4YfKoQ 
# 提取码：skdq
 
# 用Pandas工具查看数据
print(data.head())
print('******************************')
 
# 数据缺失值统计
print(data.info())
print('******************************')
 
# 描述性统计分析
print(data.describe().round(4))
print('******************************')
 
#  y变量柱状图
plt.rcParams['font.sans-serif'] = ['SimHei']  # 指定默认字体
plt.rcParams['axes.unicode_minus'] = False  # 解决保存图像是负号'-'显示为方块的问题
# kind='bar' 绘制柱状图
data['y'].value_counts().plot(kind='bar')
plt.xlabel("y变量")
plt.ylabel("数量")
plt.title('y变量柱状图')
plt.show()