决策树算法实战指南：CART、ID3、C4.5的数据兼容性与最佳实践

1次阅读

共计 1326 个字符，预计需要花费 4 分钟才能阅读完成。

在真实业务场景中，数据类型的误处理是决策树模型效果下降的常见原因。例如：

将连续年龄字段直接作为类别特征输入 ID3 算法，导致信息损失
对高基数邮编特征使用 One-Hot 编码，引发维度爆炸
忽略缺失值处理，使得 CART 算法在分裂时产生偏差

特性	CART	ID3	C4.5
连续数值特征	支持(二分法)	不支持	支持(多分法)
类别型特征	需编码	原生支持	原生支持
缺失值处理	自动处理	需预处理	自动分配
多输出问题	支持	不支持	支持
特征重要性评估	基尼重要度	信息增益	增益率

# 数据预处理示例
from sklearn.preprocessing import KBinsDiscretizer

# 连续值分箱（适配 ID3）biner = KBinsDiscretizer(n_bins=5, encode='ordinal')
age_binned = biner.fit_transform(df[['Age']])

# 关键参数配置
from sklearn.tree import DecisionTreeClassifier

model = DecisionTreeClassifier(
    criterion='gini',  # CART 算法
    max_depth=5,       # 预剪枝
    min_samples_leaf=10,
    min_impurity_decrease=0.01
)

高基数类别特征处理
目标编码：用目标变量均值替代类别值
频率编码：使用类别出现频率
神经网络 Embedding（适合深度学习流水线）
剪枝策略调优
优先调整 min_samples_leaf 而非max_depth
使用 ccp_alpha 参数进行代价复杂度剪枝
分布式训练
使用 Spark MLlib 的 DecisionTree 实现
设置 maxBins 参数大于特征唯一值数量

# 泰坦尼克数据集测试
from sklearn.datasets import fetch_openml
titanic = fetch_openml('titanic', version=1)

# 对比不同算法
algos = {'CART': DecisionTreeClassifier(criterion='gini'),
    'ID3': DecisionTreeClassifier(criterion='entropy', max_depth=3),
    'C4.5': DecisionTreeClassifier(criterion='log_loss', min_samples_split=5)
}

for name, model in algos.items():
    scores = cross_val_score(model, X, y, cv=5)
    print(f"{name}准确率: {scores.mean():.3f}")