经典决策树分类实战：从特征选择到模型调优全流程解析

1次阅读

共计 2959 个字符，预计需要花费 8 分钟才能阅读完成。

在金融风控场景中，我们常常遇到决策树模型过拟合的问题。例如，当使用用户交易记录构建反欺诈模型时，决策树可能会过度关注某些特定用户 ID 或交易 ID，导致模型在训练集上表现完美，但在测试集上泛化能力极差。我曾经遇到一个案例：模型在训练集上的准确率高达 99%，但在实际生产环境中准确率骤降到 65%，这就是典型的过拟合现象。

医疗数据场景则存在特征重要性误判的问题。当处理包含大量检验指标的医疗数据时，决策树可能会给某些噪声特征赋予过高的重要性，而忽略真正有临床意义的特征。这会导致模型给出的 ” 重要特征 ” 与医学常识相悖，严重影响模型的可解释性和可信度。

决策树算法主要有三种经典实现：

ID3 算法：使用信息增益作为分裂标准
公式：$IG(D_p,f) = I(D_p) – \sum_{j=1}^m \frac{N_j}{N_p}I(D_j)$
缺点：偏向选择取值较多的特征
C4.5 算法：改进 ID3，使用信息增益比
公式：$GainRatio(D_p,f) = \frac{IG(D_p,f)}{IV(f)}$
其中 $IV(f) = -\sum_{j=1}^m \frac{N_j}{N_p}log_2\frac{N_j}{N_p}$
CART 算法：使用基尼系数
公式：$Gini(D) = 1 – \sum_{j=1}^m p_j^2$
特点：计算量较小，适合连续特征

基尼系数 vs 信息熵：
– 基尼系数计算更快，适合大数据场景
– 信息熵对类别分布更敏感，适合类别不平衡数据
– 实践中差异通常小于 5%，不必过度纠结

from sklearn.datasets import load_breast_cancer
from sklearn.model_selection import train_test_split

# 加载数据
data = load_breast_cancer()
X, y = data.data, data.target

# 划分训练测试集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

from sklearn.tree import DecisionTreeClassifier

# 初始化决策树（使用基尼系数）clf = DecisionTreeClassifier(criterion='gini', 
                            random_state=42)

# 训练模型
clf.fit(X_train, y_train)

# 评估
print(f"训练集准确率: {clf.score(X_train, y_train):.3f}")
print(f"测试集准确率: {clf.score(X_test, y_test):.3f}")

from sklearn.model_selection import GridSearchCV

# 定义参数网格
param_grid = {'max_depth': [3, 5, 7, None],
    'min_samples_split': [2, 5, 10],
    'min_samples_leaf': [1, 2, 4],
    'max_features': ['sqrt', 'log2', None]
}

# 网格搜索
grid_search = GridSearchCV(
    estimator=clf,
    param_grid=param_grid,
    cv=5,
    n_jobs=-1
)

grid_search.fit(X_train, y_train)

# 输出最优参数
print(f"最佳参数: {grid_search.best_params_}")
print(f"最佳得分: {grid_search.best_score_:.3f}")

import graphviz
from sklearn.tree import export_graphviz

# 导出决策树图
dot_data = export_graphviz(
    grid_search.best_estimator_,
    out_file=None,
    feature_names=data.feature_names,
    class_names=data.target_names,
    filled=True,
    rounded=True
)

graph = graphviz.Source(dot_data)
graph.render(filename='breast_cancer_tree', format='png')  # 保存为图片
graph  # 在 notebook 中直接显示

高基数类别特征处理
对超过 50 个取值的类别特征，避免直接使用
解决方案：
- 使用目标编码(Target Encoding)
- 进行分箱处理
- 必要时直接删除该特征
何时选择随机森林
当单棵决策树在测试集表现波动大时
当特征间存在高度相关性时
当数据量超过 10 万条时（考虑计算效率）
模型持久化优化
使用 joblib 替代 pickle 保存模型
对于深度很大的树，考虑剪枝后再保存
只保存必要参数，避免存储整个数据集

from sklearn.metrics import classification_report

# 在测试集上评估
y_pred = grid_search.predict(X_test)
print(classification_report(y_test, y_pred))

# 特征重要性分析
import pandas as pd

feat_importance = pd.DataFrame({
    'feature': data.feature_names,
    'importance': grid_search.best_estimator_.feature_importances_
}).sort_values('importance', ascending=False)

print(feat_importance.head(10))

典型输出结果：

              precision    recall  f1-score   support

           0       0.98      0.93      0.95        43
           1       0.96      0.99      0.97        71

    accuracy                           0.96       114
   macro avg       0.97      0.96      0.96       114
weighted avg       0.97      0.96      0.96       114

                          feature  importance
22          worst perimeter      0.647
7    mean concave points      0.136
20            worst radius      0.079
27    worst concave points      0.054
0             mean radius      0.024

当时序数据需要用到决策树时，可以考虑：