深入解析CART决策树结构图：从算法原理到可视化实现

1次阅读

共计 1506 个字符，预计需要花费 4 分钟才能阅读完成。

在实际业务场景中，CART 决策树因其直观易懂的特性，常被用于信用评分、医疗诊断等需要模型解释性的领域。但许多开发者发现：当树的深度超过 3 层时，仅通过 sklearn 的文本输出很难快速理解特征间的交互逻辑。这时，可视化结构图就成为团队沟通和模型调优的刚需工具。

CART 使用 Gini 系数衡量节点纯度，公式为：
$$Gini(p) = 1 – \sum_{k=1}^K p_k^2$$
其中 $p_k$ 是当前节点第 k 类样本的占比。当一个节点所有样本都属于同一类别时，Gini 系数为 0（完全纯净）。

算法会遍历所有特征和可能的切分点，选择使 Gini 系数下降最多的分裂方案：
$$\Delta Gini = Gini(父节点) – \sum_{子节点} \frac{N_{子节点}}{N_{父节点}} Gini(子节点)$$

节点样本数小于预设阈值
Gini 系数下降量不足
达到最大树深度

from sklearn.tree import DecisionTreeClassifier, export_graphviz
from sklearn.datasets import load_iris
import graphviz

# 准备数据
iris = load_iris()
X, y = iris.data, iris.target

# 训练模型
tree = DecisionTreeClassifier(max_depth=3, criterion='gini')
tree.fit(X, y)

# 生成可视化文件
dot_data = export_graphviz(
    tree,
    out_file=None, 
    feature_names=iris.feature_names,
    class_names=iris.target_names,
    filled=True,
    rounded=True
)
graph = graphviz.Source(dot_data)
graph.render('iris_tree')  # 保存为 PDF

代码关键参数说明：
– filled=True：用颜色深浅表示节点纯度
– rounded=True：使用圆角矩形提升可读性
– class_names：替换数值标签为实际类别名

决策树天然支持连续特征，但需要注意：
– 提前做分箱处理可以降低过拟合风险
– 对存在明显离群点的特征进行 Winsorization 缩尾

sklearn的决策树默认将缺失值归入信息增益更大的分支
业务场景中建议优先使用 SimpleImputer 填充

训练集准确率远高于验证集
树结构中出现大量样本量极少的节点

预剪枝（Pre-pruning）
设置min_samples_split（节点最小分裂样本数）
限制max_leaf_nodes（最大叶节点数）
后剪枝（Post-pruning）
通过 ccp_alpha 参数进行代价复杂度剪枝

方式	优势	局限性
文本输出	无需额外依赖库	超过 3 层后难以阅读
graphviz	支持交互式查看	需要安装 Graphviz 软件
matplotlib	可高度自定义样式	代码量较大