决策树实战：从零构建CART算法结构图及可视化实现

共计 1993 个字符，预计需要花费 5 分钟才能阅读完成。

为什么需要手动构建 CART 决策树结构图？

决策树作为机器学习中最直观的算法之一，CART（Classification and Regression Trees）算法因其既能处理分类也能处理回归任务而广受欢迎。对新手来说，理解树的生长过程（如何选择分裂特征、确定分裂阈值等）是掌握该算法的关键。而通过代码手动构建结构图，能让我们更直观地看到：

• 每个节点如何根据基尼系数或方差减少选择分裂点
• 树的深度如何影响模型复杂度
• 特征如何通过树结构影响最终预测

实战：三阶段构建决策树结构图

阶段一：数据准备与模型训练

我们以经典的 Iris 数据集为例，演示如何用 scikit-learn 训练一个 CART 分类树：

from sklearn.datasets import load_iris
from sklearn.tree import DecisionTreeClassifier

# 加载数据
iris = load_iris()
X, y = iris.data, iris.target

# 关键参数说明：# max_depth - 控制树的最大深度防止过拟合
# min_samples_split - 节点分裂所需最小样本数
# criterion - 分裂标准（gini/entropy）clf = DecisionTreeClassifier(max_depth=3, random_state=42)
clf.fit(X, y)

阶段二：解析决策树内部结构

训练好的模型通过 tree_ 属性暴露所有结构信息，我们来看关键字段：

tree = clf.tree_

# 重要属性示例：print(f'节点总数：{tree.node_count}')
print(f'左子节点索引：{tree.children_left}')
print(f'右子节点索引：{tree.children_right}')
print(f'分裂特征索引：{tree.feature}')
print(f'分裂阈值：{tree.threshold}')

这些数组构成了树的骨架——每个节点的左右子节点索引形成连接关系，特征和阈值决定分裂逻辑。

阶段三：Graphviz 可视化实战

安装 Graphviz 后（conda install python-graphviz），通过以下代码生成带详细信息的结构图：

from sklearn.tree import export_graphviz
import graphviz

dot_data = export_graphviz(
    clf,
    out_file=None,
    feature_names=iris.feature_names,
    class_names=iris.target_names,
    filled=True,
    rounded=True,
    special_characters=True
)

graph = graphviz.Source(dot_data)
graph.render('iris_tree')  # 生成 PDF 文件

生成的可视化图中将包含：
– 每个节点的基尼系数
– 样本类别分布
– 分裂特征和阈值
– 节点颜色深度表示类别纯度

避坑指南

处理连续特征

1. 数据分箱前先观察分布直方图
2. 考虑使用 KBinsDiscretizer 进行等宽 / 等频分箱
3. 树模型虽自动处理连续值，但异常值会影响分裂阈值

防止过拟合

• 优先调整 max_depth 而非min_samples_leaf
• 通过 ccp_alpha 参数进行代价复杂度剪枝
• 用 plot_tree 函数观察节点纯度变化

Graphviz 中文显示

在 Windows 系统需额外设置字体：

import os
os.environ["PATH"] += os.pathsep + 'C:/Program Files/Graphviz/bin/'
dot_data = export_graphviz(..., fontname='Microsoft YaHei')

性能优化

1. 使用 joblib 并行训练：

   from sklearn.externals import joblib
   clf = DecisionTreeClassifier(n_jobs=-1)

2. 大数据量时启用 max_leaf_nodes 或设置min_impurity_decrease

3. 考虑使用 HistGradientBoostingClassifier 近似算法

思考题

1. 如果要让决策树同时预测鸢尾花的种类和花瓣宽度（多输出任务），该如何修改代码？
2. 对比 ID3/C4.5 算法：
3. 信息增益 vs 信息增益率
4. 如何处理连续特征
5. 能否直接用于回归任务
6. 从结构图中如何看出某个特征的重要性？这与 feature_importances_ 属性有何关联？

结语

手动构建决策树结构图的过程，本质上是在理解机器学习模型如何『思考』。建议读者：

1. 尝试修改 max_depth 观察图形变化
2. 用自己收集的数据替换 Iris 数据集
3. 将可视化代码封装成可复用的函数

完整的代码已上传至 GitHub 仓库（示例链接），欢迎提交 Issue 讨论实践中遇到的问题。