基于UCI冠心病数据集：使用SHAP解析XGBoost与随机森林特征重要度排序实战

1次阅读

共计 2213 个字符，预计需要花费 6 分钟才能阅读完成。

医疗数据集通常具有高维度、特征间相关性强的特点，这使得理解哪些特征真正影响预测结果变得复杂。在冠心病预测中，医生和研究人员需要知道哪些风险因素（如年龄、血压、胆固醇水平等）对预测结果贡献最大，以便制定更有针对性的干预措施。然而，传统的特征重要度方法（如基于分裂次数或基尼不纯度的排序）可能无法准确反映特征的真实贡献，尤其是在特征之间存在交互作用时。

XGBoost 和随机森林是两种常用的集成学习算法，它们在特征重要度计算上各有优劣。

XGBoost：
优点：通过正则化和梯度提升减少过拟合，特征重要度计算基于权重（特征被用作分裂点的次数）、增益（特征带来的平均增益）或覆盖（特征影响的样本数）。
缺点：对超参数敏感，计算复杂度较高。
随机森林：
优点：通过自助采样和随机特征选择增加多样性，特征重要度计算基于基尼不纯度或排列重要度，计算效率高。
缺点：可能偏向于高基数特征，对噪声数据较敏感。

SHAP（SHapley Additive exPlanations）值提供了一种统一的方式来解释模型预测，它基于博弈论中的 Shapley 值，能够公平地分配每个特征对预测的贡献。SHAP 值不仅适用于 XGBoost 和随机森林，还可以用于其他模型，如线性模型和神经网络。

以下是基于 UCI 冠心病数据集的完整 Python 代码示例，使用 shap 库计算和可视化 SHAP 值。

import pandas as pd
import numpy as np
from sklearn.model_selection import train_test_split
from sklearn.ensemble import RandomForestClassifier
import xgboost as xgb
import shap
import matplotlib.pyplot as plt

# 加载数据
data = pd.read_csv('heart.csv')
X = data.drop('target', axis=1)
y = data['target']

# 划分训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

# 训练 XGBoost 模型
xgb_model = xgb.XGBClassifier(random_state=42)
xgb_model.fit(X_train, y_train)

# 训练随机森林模型
rf_model = RandomForestClassifier(random_state=42)
rf_model.fit(X_train, y_train)

# 计算 SHAP 值
explainer_xgb = shap.TreeExplainer(xgb_model)
shap_values_xgb = explainer_xgb.shap_values(X_test)

explainer_rf = shap.TreeExplainer(rf_model)
shap_values_rf = explainer_rf.shap_values(X_test)

# 可视化 SHAP 值
shap.summary_plot(shap_values_xgb, X_test, plot_type='bar', title='XGBoost Feature Importance')
shap.summary_plot(shap_values_rf, X_test, plot_type='bar', title='Random Forest Feature Importance')