从零构建CART决策树图形：原理详解与Python实战

1次阅读

共计 1896 个字符，预计需要花费 5 分钟才能阅读完成。

决策树的核心是选择最佳分裂特征和分裂点。CART（Classification and Regression Trees）算法使用 基尼系数（Gini Index）来衡量数据的不纯度。

数学公式如下：

Gini(D) = 1 - Σ (p_i)^2

其中 p_i 是第 i 类样本在数据集 D 中的比例。分裂后的基尼系数计算为：

Gini_split = Σ (|D_j|/|D|) * Gini(D_j)

信息增益就是分裂前后基尼系数的差值：

Gain = Gini(D) - Gini_split

忽略特征缩放
虽然决策树不受量纲影响，但特征缩放会影响可视化时的节点显示比例
误解分裂点含义
连续特征的分裂点（如age <= 30.5）需要理解为 ” 是否小于等于阈值 ”
过度依赖默认参数
max_depth等参数会显著影响树的结构，需要根据数据特点调整

安装必要库：

pip install scikit-learn graphviz

import pandas as pd
from sklearn.preprocessing import LabelEncoder

# 示例数据：鸢尾花数据集
from sklearn.datasets import load_iris
iris = load_iris()
df = pd.DataFrame(iris.data, columns=iris.feature_names)
df['target'] = iris.target

# 分类变量编码（示例）le = LabelEncoder()
df['target_encoded'] = le.fit_transform(df['target'])

from sklearn.tree import DecisionTreeClassifier, export_graphviz

# 关键参数说明
clf = DecisionTreeClassifier(
    criterion='gini',   # 分裂标准
    max_depth=3,        # 控制树深
    min_samples_split=2 # 最小分裂样本数
)

X = df[iris.feature_names]
y = df['target_encoded']
clf.fit(X, y)

import graphviz

dot_data = export_graphviz(
    clf, 
    out_file=None, 
    feature_names=iris.feature_names,
    class_names=iris.target_names,
    filled=True,
    rounded=True
)

graph = graphviz.Source(dot_data)
graph.render('iris_tree')  # 保存为 PDF

连续特征处理
对年龄等连续特征，建议先分箱再训练
使用 pd.cut() 进行等宽 / 等频分箱

预防过拟合

# 后剪枝参数示例
DecisionTreeClassifier(ccp_alpha=0.02  # 复杂度参数)

中文乱码解决
在 export_graphviz 中添加：
```
fontname='SimHei'
```
图形优化技巧
调整 max_depth 控制显示层级
使用 proportion=True 显示样本比例

特征重要性解读

pd.Series(clf.feature_importances_, 
         index=iris.feature_names).plot.barh()

多输出决策树
当需要预测多个目标变量时，建议:
使用不同颜色区分输出分支
增加图例说明

交互式可视化
尝试:

from ipywidgets import interactive

def plot_tree(max_depth=3):
    clf = DecisionTreeClassifier(max_depth=max_depth)
    clf.fit(X, y)
    dot_data = export_graphviz(clf, ...)
    return graphviz.Source(dot_data)

interactive(plot_tree, max_depth=(1,5))

通过这次完整的决策树构建流程，最大的收获是理解了参数调优与可视化效果之间的平衡。建议初学者先用小数据集（如 iris）练习，逐步掌握：