Cart决策树的数据敏感性解析：原理、风险与优化策略

1次阅读

共计 1929 个字符，预计需要花费 5 分钟才能阅读完成。

Cart（Classification and Regression Trees）决策树是机器学习中广泛使用的算法，它通过递归地划分特征空间来构建预测模型。然而，Cart 决策树有一个显著的特点——对数据极其敏感。这意味着即使是训练数据中的微小变动，也可能导致生成的树结构发生剧烈变化。这种敏感性在实际业务中会带来诸多问题：

模型不稳定 ：相同数据的不同采样可能导致完全不同的决策规则
过拟合风险 ：树会过度适应训练数据中的噪声，导致泛化性能下降
解释性降低 ：频繁变动的树结构使业务人员难以信任模型决策

ID3 算法 ：
使用信息增益作为划分标准
对多值特征有偏好，但对数据变动的敏感性略低于 Cart
C4.5 算法 ：
改进 ID3，采用信息增益比
通过处理连续值和缺失值提高了稳定性
但计算成本高于 Cart
Cart 算法 ：
使用 Gini 不纯度或平方误差最小化
二叉树结构使其对数据分割更加 ” 敏感 ”
能够处理回归问题（这是 ID3/C4.5 不具备的）

Gini 系数的计算公式为：

$$Gini(D) = 1 – \sum_{k=1}^{K} (p_k)^2$$

其中 $p_k$ 是第 k 类样本在数据集 D 中的比例。Gini 系数对类别分布的变化非常敏感，特别是当某个类别的比例接近 0 或 1 时，微小的数据变动可能导致 Gini 系数大幅波动，从而影响特征选择。

信息增益比 ：在 Cart 基础上引入类似 C4.5 的特征选择标准
特征重要性评估 ：通过置换重要性等方法筛选稳定特征

预剪枝 ：
设置 max_depth 限制树深度
通过 min_samples_split 控制节点最小样本数
后剪枝（代价复杂度剪枝）：
计算子树复杂度代价
选择使验证集误差最小的子树

随机森林 ：通过 bootstrap 采样和特征随机选择降低方差
梯度提升树 ：以序列方式构建树，每棵树修正前序树的错误

from sklearn.tree import DecisionTreeClassifier

# 基础 Cart 模型
clf = DecisionTreeClassifier(
    criterion='gini',  # 使用 Gini 系数
    splitter='best',   # 选择最优划分
    max_depth=None,    # 不限制深度（容易过拟合）min_samples_split=2
)
clf.fit(X_train, y_train)

from sklearn.model_selection import cross_val_score

# 使用 5 折交叉验证评估模型
scores = cross_val_score(DecisionTreeClassifier(max_depth=5),
    X, y,
    cv=5,  # 5 折
    scoring='accuracy'
)
print(f"平均准确率: {scores.mean():.2f} (±{scores.std():.2f})")

from sklearn.model_selection import GridSearchCV

# 定义参数网格
param_grid = {'max_depth': [3, 5, 7, None],
    'min_samples_split': [2, 5, 10],
    'min_samples_leaf': [1, 2, 4]
}

# 网格搜索
grid_search = GridSearchCV(DecisionTreeClassifier(),
    param_grid,
    cv=5,
    n_jobs=-1
)
grid_search.fit(X_train, y_train)

print(f"最佳参数: {grid_search.best_params_}")