C4.5决策树算法实战指南：从数据预处理到模型调优

1次阅读

共计 1652 个字符，预计需要花费 5 分钟才能阅读完成。

决策树是数据挖掘中最直观的算法之一，因其可解释性强、接近人类决策过程而广受欢迎。C4.5 作为 ID3 算法的升级版，主要解决了三个关键问题：

支持连续型特征处理（通过阈值划分离散化）
采用信息增益比替代信息增益，减少对多值特征的偏好
引入剪枝机制降低过拟合风险

C4.5 的核心改进是使用信息增益比（Gain Ratio）作为特征选择标准，计算公式为：

def gain_ratio(feature, dataset):
    info_gain = calculate_info_gain(feature, dataset)  # 常规信息增益
    split_info = -sum((len(subset)/len(dataset)) * log2(len(subset)/len(dataset)) 
                     for subset in split_by_feature(feature, dataset))
    return info_gain / split_info if split_info != 0 else 0

与 ID3 的主要区别：

信息增益比 = 信息增益 / 分裂信息量 (Split Information)
分裂信息量惩罚取值多的特征，解决 ID3 偏向选择取值多的特征的问题

对连续特征如 ” 年龄 ”，需找到最佳分割点：

排序特征值
计算相邻值的中间点作为候选阈值
选择使信息增益比最大的阈值

C4.5 采用权重分配法：

将缺失值样本按不同取值比例分配到子节点
预测时根据分支权重综合计算结果

使用 sklearn 的决策树（默认使用 CART 但可模拟 C4.5）：

from sklearn.tree import DecisionTreeClassifier
from sklearn.model_selection import train_test_split

# 模拟 C4.5 参数设置
dtree = DecisionTreeClassifier(
    criterion='entropy',  # 使用信息熵
    max_depth=5,         # 预剪枝
    min_samples_split=10,
    ccp_alpha=0.01       # 代价复杂度剪枝
)

X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3)
dtree.fit(X_train, y_train)
print("Accuracy:", dtree.score(X_test, y_test))

完整手动实现参见 GitHub 示例（链接见文末）。

预剪枝 ：限制 max_depth/min_samples_split
后剪枝 ：
计算节点误差增益
如果增益小于阈值则合并子树

from sklearn.model_selection import GridSearchCV

param_grid = {'max_depth': [3,5,7],
    'min_samples_leaf': [1,3,5],
    'ccp_alpha': [0, 0.01, 0.1]
}
grid_search = GridSearchCV(dtree, param_grid, cv=5)
grid_search.fit(X_train, y_train)