基于Breast Cancer Wisconsin数据集的决策树模型实战与调优指南

1次阅读

共计 2303 个字符，预计需要花费 6 分钟才能阅读完成。

医疗数据的高维度特性与样本不平衡问题是构建诊断模型时的两大挑战。Breast Cancer Wisconsin (Diagnostic)数据集包含 30 个特征，但样本量仅 569 条（良性 357，恶性 212），这种高维小样本数据容易导致过拟合。同时，医疗场景要求模型具备强可解释性——医生需要理解模型为何做出某种诊断，这恰恰是决策树 (Decision Tree) 的优势所在。

SVM 支持向量机：在小数据集表现优秀，但核函数选择困难且解释性差
神经网络：需要大量数据训练，存在 ” 黑箱 ” 问题
决策树：天然可解释，支持特征重要性排序，适合样本量 <1 万的场景

# 基尼系数(Gini) vs 信息增益(Information Gain)
from sklearn.tree import DecisionTreeClassifier

# 基尼系数计算更快，适合连续值多的特征
gini_tree = DecisionTreeClassifier(criterion='gini') 

# 信息增益对类别分布更敏感，适合离散特征
entropy_tree = DecisionTreeClassifier(criterion='entropy')

import pandas as pd
from sklearn.preprocessing import StandardScaler

# 加载数据并处理缺失值
df = pd.read_csv('breast_cancer.csv')
df = df.dropna(axis=1)  # 该数据集无缺失值，实际项目需更复杂处理

# 特征标准化（决策树虽不需要，但有利于后续可视化）scaler = StandardScaler()
X_scaled = scaler.fit_transform(df.iloc[:, 2:-1])  # 跳过 ID 和诊断结果列

from sklearn.model_selection import train_test_split

# 划分训练测试集
X_train, X_test, y_train, y_test = train_test_split(X_scaled, df['diagnosis'], test_size=0.2, random_state=42)

# 关键参数说明
best_tree = DecisionTreeClassifier(
    max_depth=3,           # 控制树深度防止过拟合
    min_samples_split=5,   # 节点最少样本数
    class_weight='balanced',  # 处理样本不平衡
    random_state=42
)
best_tree.fit(X_train, y_train)

import matplotlib.pyplot as plt
from sklearn.tree import plot_tree

plt.figure(figsize=(12,8))
plot_tree(best_tree, 
          feature_names=df.columns[2:-1],
          class_names=['良性', '恶性'],
          filled=True)
plt.show()

交叉验证调参：

from sklearn.model_selection import GridSearchCV

param_grid = {'max_depth': [3, 5, 7],
    'min_samples_split': [2, 5, 10]
}
grid_search = GridSearchCV(DecisionTreeClassifier(), param_grid, cv=5)
grid_search.fit(X_train, y_train)

剪枝策略：

# 代价复杂度剪枝
pruned_tree = DecisionTreeClassifier(ccp_alpha=0.02)  # 通过交叉验证选择 alpha

import joblib  # 比 pickle 更高效

# 保存
joblib.dump(best_tree, 'cancer_model.joblib') 

# 加载
loaded_model = joblib.load('cancer_model.joblib')

类别不平衡 ：设置class_weight 参数比过采样更有效
GPU 加速：虽然 scikit-learn 不支持 GPU，但可换用 LightGBM/XGBoost
特征工程：医疗数据需保留原始数值范围，避免过度标准化

# Flask 示例
from flask import Flask, request
import joblib

app = Flask(__name__)
model = joblib.load('cancer_model.joblib')

@app.route('/predict', methods=['POST'])
def predict():
    data = request.json
    return {'prediction': str(model.predict([data['features']]))}