逻辑回归模型构建+PDP（部分依赖图）解析——Python代码及运行结果分析

一、逻辑回归模型简介

逻辑回归是一种广泛用于二分类问题的统计模型。它通过使用逻辑函数将预测结果映射到0到1之间，从而可以用于概率预测。模型的训练过程通常包括以下几个步骤：

1. 数据预处理：处理缺失值、编码分类变量、标准化数值变量。
2. 特征选择：选择重要的特征用于模型训练。
3. 模型训练：使用训练数据拟合逻辑回归模型。
4. 模型评估：使用测试数据评估模型性能。

二、部分依赖图（PDP）简介

部分依赖图（Partial Dependence Plot, PDP）用于可视化单一特征或两个特征与目标变量之间的关系。它通过固定其他所有特征值，仅改变一个或两个特征值来观察模型预测的变化，从而帮助理解模型的决策过程。

• 单变量部分依赖图：显示了单个特征（mean radius 和 mean texture）对目标变量的影响。可以看到，随着特征值的变化，模型预测概率也随之变化。

• 双变量交互作用部分依赖图：显示了两个特征（mean radius 和 mean texture）的组合对目标变量的影响。通过图表可以观察到特征之间的交互作用及其对模型预测的影响。

三、PDP的使用步骤

1. 训练模型：训练一个逻辑回归模型。
2. 生成PDP：使用PDP函数生成单变量和双变量的部分依赖图。
3. 可视化结果：绘制PDP图形，以便直观理解特征与目标变量之间的关系。

四、Python代码及运行结果分析

1. 数据准备

我们将使用著名的乳腺癌数据集（Breast Cancer Dataset）进行演示。

import pandas as pd
from sklearn.datasets import load_breast_cancer
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import StandardScaler
from sklearn.linear_model import LogisticRegression
from sklearn.metrics import accuracy_score, confusion_matrix, roc_curve, roc_auc_score
from sklearn.inspection import PartialDependenceDisplay
import matplotlib.pyplot as plt
import seaborn as sns
 
# 加载数据
data = load_breast_cancer()
X = pd.DataFrame(data.data, columns=data.feature_names)
y = data.target

2.逻辑回归模型构建

# 数据拆分
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)
 
# 数据标准化
scaler = StandardScaler()
X_train_scaled = scaler.fit_transform(X_train)
X_test_scaled = scaler.transform(X_test)
 
# 训练逻辑回归模型
model = LogisticRegression(max_iter=10000)
model.fit(X_train_scaled, y_train)

3.模型评价

# 模型评估
y_pred = model.predict(X_test_scaled)
accuracy = accuracy_score(y_test, y_pred)
conf_matrix = confusion_matrix(y_test, y_pred)
roc_auc = roc_auc_score(y_test, model.predict_proba(X_test_scaled)[:, 1])
fpr, tpr, thresholds = roc_curve(y_test, model.predict_proba(X_test_scaled)[:, 1])
 

3.1 混淆矩阵 

# 可视化混淆矩阵
plt.figure(figsize=(8, 6))
sns.heatmap(conf_matrix, annot=True, fmt='d', cmap='Blues')
plt.xlabel('Predicted')
plt.ylabel('Actual')
plt.title('Confusion Matrix')
plt.show()

 混淆矩阵显示了模型在测试数据上的预测结果：

• True Positive (TP): 70
• True Negative (TN): 38
• False Positive (FP): 1
• False Negative (FN): 4

3.2 ROC 曲线

# 可视化ROC曲线
plt.figure(figsize=(8, 6))
plt.plot(fpr, tpr, label=f'ROC curve (area = {roc_auc:.2f})')
plt.plot([0, 1], [0, 1], 'k--')
plt.xlabel('False Positive Rate')
plt.ylabel('True Positive Rate')
plt.title('ROC Curve')
plt.legend(loc='lower right')
plt.show()

ROC曲线展示了模型在不同阈值下的性能，曲线下面积（AUC）为0.99，表明模型具有很好的分类性能。

3.3 模型评估结果

1. 准确性（Accuracy）: 0.98
2. ROC AUC: 0.99

4.部分依赖图（PDP）解析

4.1 多个单变量部分依赖图（PDP）解析

特征选择，我们选择了乳腺癌数据集中的五个特征进行PDP解析：

1. mean perimeter (特征索引2)
2. mean area (特征索引3)
3. mean smoothness (特征索引4)
4. mean compactness (特征索引5)
5. mean concavity (特征索引6)

# 选择多个特征进行PDP解析
features = [2, 3, 4, 5, 6]  # 选择不同的特征进行解析
 
# 生成并展示单变量PDP
fig, ax = plt.subplots(figsize=(12, 8))
PartialDependenceDisplay.from_estimator(model, X_train_scaled, features, ax=ax)
plt.suptitle('Partial Dependence Plots for Multiple Single Features')
plt.subplots_adjust(top=0.9)  # 调整标题位置
plt.show()

4.1.1 PDP运行结果图

4.1.2 PDP结果分析

1. mean perimeter:

   • PDP图显示，当mean perimeter值较小时，模型预测的恶性肿瘤的概率较低。
   • 随着mean perimeter值的增加，恶性肿瘤的概率显著增加，这与乳腺癌肿瘤通常更大有关。

2. mean area:

   • mean area的PDP图展示了类似的趋势，即当mean area较小时，恶性肿瘤的概率较低。
   • 当mean area增加时，恶性肿瘤的概率也显著增加。这符合肿瘤面积较大的病变通常更可能是恶性肿瘤的规律。

3. mean smoothness:

   • 对于mean smoothness，PDP图显示其与恶性肿瘤概率的关系较为复杂。
   • 在某些范围内，mean smoothness的增加会导致恶性肿瘤概率的增加，但这种关系不如前两个特征那么显著。

4. mean compactness:

   • mean compactness的PDP图也显示出其与恶性肿瘤概率的正相关关系。
   • 随着mean compactness增加，恶性肿瘤的概率上升，但这个特征的影响相对较小。

5. mean concavity:

   • mean concavity与恶性肿瘤概率有明显的正相关关系。
   • PDP图显示，当mean concavity较高时，恶性肿瘤的概率显著增加，这表明该特征对模型预测有重要影响。

4.2 双变量交互部分依赖图（PDP）解析

特征选择，我们选择了以下特征对进行交互PDP解析：

1. mean radius 和 mean perimeter (特征索引0和2)
2. mean texture 和 mean area (特征索引1和3)
3. mean perimeter 和 mean smoothness (特征索引2和4)
4. mean area 和 mean compactness (特征索引3和5)

# 选择不同的特征对进行双变量交互PDP解析
features_interaction = [(0, 2), (1, 3), (2, 4), (3, 5)]  # 选择特征对进行交互解析
 
# 生成并展示双变量PDP
fig, ax = plt.subplots(figsize=(12, 8))
PartialDependenceDisplay.from_estimator(model, X_train_scaled, features_interaction, ax=ax)
plt.suptitle('Partial Dependence Plots for Feature Interactions')
plt.subplots_adjust(top=0.9)  # 调整标题位置
plt.show()

4.2.1 PDP运行结果图 

4.2.2 PDP结果分析

1. mean radius 和 mean perimeter:

   • 这两个特征都是与肿瘤大小相关的度量。PDP图显示，当mean radius和mean perimeter同时增加时，恶性肿瘤的概率显著增加。
   • 这表明这两个特征在预测恶性肿瘤时具有协同作用，较大的肿瘤半径和周长同时出现时更可能是恶性肿瘤。

2. mean texture 和 mean area:

   • mean texture和mean area的交互PDP图展示了类似的趋势。当这两个特征值同时较高时，恶性肿瘤的概率也显著增加。
   • 这表明肿瘤的质地和面积的结合对模型预测有重要影响。

3. mean perimeter 和 mean smoothness:

   • 在mean perimeter和mean smoothness的交互PDP图中，我们可以看到这两个特征的交互作用。
   • 当mean perimeter值较大且mean smoothness值较小时，恶性肿瘤的概率最高。这表明大周长和低光滑度的组合对预测恶性肿瘤具有重要作用。

4. mean area 和 mean compactness:

   • mean area和mean compactness的交互PDP图显示了当这两个特征值较高时，恶性肿瘤的概率也较高。
   • 这表明肿瘤面积和紧凑度的结合对模型预测有显著影响，尤其是在两个特征都较高的情况下。

五、结论

通过单变量PDP图的解析，我们可以更好地理解模型是如何利用这些特征进行预测的。具体来说，肿瘤的周长、面积、光滑度、紧凑度和凹度都对模型预测有显著影响。这些特征与恶性肿瘤概率之间的关系符合医学上的常识，例如更大的周长和面积通常意味着更可能是恶性肿瘤。

通过分析双变量交互的PDP图，我们可以更全面地理解模型在考虑特征交互作用时的行为。这些交互作用图表明，多种特征的组合对恶性肿瘤的预测具有显著影响，特别是当多个特征值同时较高时，模型预测的恶性肿瘤概率也会显著增加。