决策树算法实战指南：CART、ID3、C4.5的数据兼容性与最佳实践

1次阅读

共计 2299 个字符，预计需要花费 6 分钟才能阅读完成。

在信贷风控实际项目中，我们曾因直接将邮政编码作为数值特征输入 CART 模型，导致树结构严重偏移——算法将邮编 10001 和 10002 识别为数值相邻特征强行划分。更严重的是，某医疗数据集把 ” 血型 (A/B/AB/O)” 错误 LabelEncoder 成 1 /2/3/4，使得 ID3 算法计算出荒谬的信息增益。这些血淋淋的教训告诉我们：

连续值未分箱直接输入，会导致 CART 找无意义分割点
类别特征错误数值化，将扭曲信息增益计算逻辑
缺失值简单填充均值，可能改变特征分布关系

特性	ID3	C4.5	CART
连续数值特征	×	✓	✓
类别型特征	✓	✓	✓
缺失值处理	×	✓	✓
多输出问题	×	×	✓
特征重要性评估	信息增益	增益率	基尼系数

关键差异说明：

ID3 只能处理离散值，C4.5 通过二分法支持连续值
CART 唯一原生支持回归任务 (mse 损失)
只有 C4.5/CART 通过替代分裂处理缺失值

# 连续值分箱 (等频分 5 箱)
from sklearn.preprocessing import KBinsDiscretizer
disc = KBinsDiscretizer(n_bins=5, encode='ordinal', strategy='quantile')
data['age_bin'] = disc.fit_transform(data[['age']])

# 高基数类别特征处理 (出现频次编码)
data['zipcode_freq'] = data['zipcode'].map(data['zipcode'].value_counts(normalize=True))

from sklearn.tree import DecisionTreeClassifier

dtc = DecisionTreeClassifier(
    criterion='gini',  # CART 用 gini, ID3/C4.5 需自定义
    splitter='best',   # 可选 'random' 防过拟合
    max_depth=5,       # 重要剪枝参数
    min_samples_leaf=10, # 叶节点最小样本数
    ccp_alpha=0.01     # 代价复杂度剪枝系数
)

import matplotlib.pyplot as plt

plt.barh(range(len(dtc.feature_importances_)), dtc.feature_importances_)
plt.yticks(range(X.shape[1]), X.columns)
plt.title('Feature Importance')
plt.show()

目标编码 ：用 target 均值编码，需注意过拟合

from category_encoders import TargetEncoder
encoder = TargetEncoder(cols=['zipcode'])
data = encoder.fit_transform(data, y)

频率编码 ：按出现频率映射，简单有效
Embedding：先用神经网络学习低维表示

预剪枝：优先调整 max_depth/min_samples_split
后剪枝：用 ccp_alpha 参数，通过交叉验证选择

Spark MLlib 的 DecisionTree 要求所有 executor 内存总和 > 特征数×最大深度×8MB
优先选择特征采样而非样本采样

# 数据准备
from sklearn.datasets import fetch_openml
titanic = fetch_openml('titanic', version=1)
X, y = titanic.data, titanic.target

# 特征工程 (演示混合类型处理)
X['age'] = KBinsDiscretizer(n_bins=5).fit_transform(X[['age']])
X['embarked'] = TargetEncoder().fit_transform(X[['embarked']], y)

# 算法对比
from sklearn.model_selection import cross_val_score

algorithms = {'ID3': DecisionTreeClassifier(criterion='entropy', max_features=None),
    'C4.5': DecisionTreeClassifier(criterion='entropy', max_features='sqrt'),
    'CART': DecisionTreeClassifier(criterion='gini')
}

for name, clf in algorithms.items():
    scores = cross_val_score(clf, X, y, cv=5)
    print(f"{name}: 平均准确率 {scores.mean():.3f}")