深入解析classic决策树分类：从原理到工程实践

1次阅读

没有评论

共计 1926 个字符，预计需要花费 5 分钟才能阅读完成。

决策树在分类任务中受欢迎，主要因为它的几个独特优势：

直观可解释：树形结构可以像流程图一样被人类理解，这点在需要解释模型决策的业务场景（如金融风控）中特别有价值
数据适应性强：不需要对特征做标准化 / 归一化处理，能同时处理数值型和类别型特征
计算效率高：训练和预测的时间复杂度相对较低，适合快速原型开发

核心思想：选择信息增益 (Information Gain) 最大的特征作为分割节点
局限性：
倾向于选择取值多的特征（如 ID 类特征）
无法处理连续值特征
没有剪枝机制，容易过拟合

改进点：
用增益率 (Gain Ratio) 代替信息增益，缓解特征偏向问题
支持连续特征自动离散化
引入后剪枝 (Post-Pruning) 机制
工程注意：
计算增益率时需要额外计算分裂信息(Split Information)
对缺失值采用概率分布处理

特点：
使用基尼系数 (Gini Index) 作为分割标准
二叉树结构（每个节点只有两个分支）
支持回归任务（最小化平方误差）
优势：
计算量比信息熵更小
scikit-learn 的默认实现

from sklearn.tree import DecisionTreeClassifier
from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split

# 加载数据
iris = load_iris()
X_train, X_test, y_train, y_test = train_test_split(iris.data, iris.target, test_size=0.3, random_state=42)

# 关键参数说明：# max_depth - 控制树的最大深度
# min_samples_split - 节点分裂的最小样本数
# criterion - 分裂标准（gini/entropy）clf = DecisionTreeClassifier(
    max_depth=3,
    min_samples_split=2,
    criterion='gini'
)
clf.fit(X_train, y_train)

print(f"Test accuracy: {clf.score(X_test, y_test):.2f}")

import matplotlib.pyplot as plt
from sklearn.tree import plot_tree

plt.figure(figsize=(12,8))
plot_tree(
    clf,
    feature_names=iris.feature_names,
    class_names=iris.target_names,
    filled=True,
    rounded=True
)
plt.savefig('tree_visualization.png')

等宽分箱：按值范围均匀划分（易受异常值影响）
等频分箱：按样本数量均匀划分（保持数据分布）
基于信息熵的分箱：寻找使信息增益最大的分割点

预剪枝(Pre-Pruning)：
通过 max_depth/min_samples_leaf 等参数提前停止生长
可能欠拟合但训练速度快
后剪枝(Post-Pruning)：
先完整生长树，再自底向上剪枝
效果更好但计算成本高

调整 class_weight 参数（如设置为 ’balanced’）
对少数类样本采用过采样(SMOTE)
使用代价敏感学习(cost-sensitive learning)

场景	推荐算法	原因
高精度需求	随机森林 /GBDT	集成方法通常表现更好
可解释性优先	单棵决策树	模型结构直观
大数据量	随机森林	天然支持并行