C4.5决策树实战：从原理到Python实现与调优指南

1次阅读

共计 2124 个字符，预计需要花费 6 分钟才能阅读完成。

决策树是机器学习中最直观的算法之一，而 C4.5 作为 ID3 算法的改进版本，在工业界和学术界都有广泛应用。相比 ID3，C4.5 主要有三大优势：

能够处理连续值属性，不再局限于离散特征
使用信息增益比而非信息增益，减少了对取值数目较多属性的偏好
加入了剪枝机制，有效缓解过拟合问题

这些改进使得 C4.5 特别适合处理像医疗诊断、信用评分等需要解释性的分类任务。

C4.5 最关键的改进是用信息增益比替代信息增益来选择划分属性。计算公式如下：

def gain_ratio(dataset, feature):
    # 计算信息增益
    info_gain = information_gain(dataset, feature)  
    # 计算分裂信息
    split_info = calculate_split_info(dataset, feature)
    # 避免除以 0
    if split_info == 0:
        return 0
    return info_gain / split_info

其中分裂信息 (split_info) 衡量的是属性本身的熵，这相当于对信息增益做了归一化处理。

连续值处理：ID3 只能处理离散值，C4.5 通过二分法将连续属性离散化
缺失值处理：C4.5 可以处理缺失值，ID3 则要求数据完整
剪枝机制：C4.5 采用悲观剪枝，大大降低了过拟合风险

对于连续值属性，我们需要先进行离散化处理：

def discretize_continuous_feature(data, feature_idx):
    values = [sample[feature_idx] for sample in data]
    # 使用中位数作为分割点
    threshold = np.median(values)
    discretized = [1 if x >= threshold else 0 for x in values]
    return discretized

class C45DecisionTree:
    def __init__(self, max_depth=5, min_samples_split=2):
        self.max_depth = max_depth
        self.min_samples_split = min_samples_split

    def fit(self, X, y):
        self.tree = self._build_tree(X, y, depth=0)

    def _build_tree(self, X, y, depth):
        # 终止条件
        if len(set(y)) == 1 or len(X) < self.min_samples_split or depth >= self.max_depth:
            return max(set(y), key=list(y).count)

        # 选择最佳分割特征
        best_feature = self._choose_best_feature(X, y)

        # 构建子树
        tree = {best_feature: {}}
        for value in set(X[:, best_feature]):
            sub_X = X[X[:, best_feature] == value]
            sub_y = y[X[:, best_feature] == value]
            tree[best_feature][value] = self._build_tree(sub_X, sub_y, depth+1)

        return tree

对于像 ” 年龄 ” 这样的连续值属性，建议：