深入解析CART决策树分类结构：从原理到工程实践

1次阅读

没有评论

共计 1756 个字符，预计需要花费 5 分钟才能阅读完成。

决策树在分类任务中虽然直观易懂，但在实际工程应用中常常会遇到几个典型问题：

过拟合风险：决策树会不断分裂直到所有叶子节点纯净，导致对训练数据过度学习，泛化性能下降
连续值处理：需要对连续特征进行离散化（如二分法），可能损失信息或引入人为分割点偏差
特征选择偏向：ID3 算法倾向于选择取值较多的特征，而忽略实际区分度更高的特征

这些问题在 CART（Classification and Regression Trees）算法中通过基尼系数和剪枝策略得到了较好解决。

ID3/C4.5：使用信息增益（Information Gain）或增益比，基于信息熵计算
$$ IG(D,a) = H(D) – \sum_{v=1}^V \frac{|D^v|}{|D|}H(D^v) $$
CART：使用基尼系数（Gini Index）衡量不纯度
$$ Gini(D) = 1 – \sum_{k=1}^K p_k^2 $$
分裂时选择使基尼不纯度下降最大的特征

CART 采用二叉树结构，终止条件包括：
– 节点样本数小于 min_samples_split
– 基尼不纯度下降小于 min_impurity_decrease
– 达到 max_depth 限制

from sklearn.tree import DecisionTreeClassifier

# 关键参数配置
tree = DecisionTreeClassifier(
    criterion='gini',  # 使用基尼系数
    max_depth=5,       # 控制树深度防止过拟合
    min_samples_split=10,  # 节点最少样本数
    random_state=42
)
tree.fit(X_train, y_train)

import pandas as pd

# 获取特征重要性并排序
feat_importance = pd.DataFrame({
    'feature': X_train.columns,
    'importance': tree.feature_importances_
}).sort_values('importance', ascending=False)

print(feat_importance.head(10))

from sklearn.tree import export_graphviz
import graphviz

# 导出 dot 文件
dot_data = export_graphviz(
    tree,
    out_file=None,
    feature_names=X_train.columns,
    class_names=['Class0', 'Class1'],  # 替换为实际类别名
    filled=True,
    rounded=True
)

# 渲染可视化
graph = graphviz.Source(dot_data)
graph.render('decision_tree')  # 保存为 PDF

# 通过 class_weight 参数调整类别权重
tree = DecisionTreeClassifier(
    class_weight='balanced',  # 自动按类别频率反比加权
    # 或手动指定权重
    # class_weight={0:1, 1:3} 
)

使用 max_features 限制每步考虑的特征数
对连续特征先进行分桶处理
配合 PCA 降维减少特征维度

from sklearn.ensemble import RandomForestClassifier

# CART 作为基学习器构建随机森林
rf = RandomForestClassifier(
    n_estimators=100,
    max_features='sqrt',  # 每棵树随机选择特征子集
    oob_score=True       # 使用袋外样本评估
)