C4.5决策树算法实战：从数据集处理到模型优化全解析

1次阅读

没有评论

共计 1831 个字符，预计需要花费 5 分钟才能阅读完成。

C4.5 作为 ID3 算法的升级版，在分类任务中表现出三大核心优势：

自动处理连续属性：通过二分法离散化连续特征，避免人工分箱的主观性
抗噪声能力强：内置缺失值处理机制，适合现实世界中的不完整数据
特征选择更合理 ：采用增益比(Gain Ratio) 替代信息增益，缓解特征偏向问题

典型应用场景包括医疗诊断（如基于检验指标的疾病分类）、金融风控（客户信用评级）等需要可解释规则的领域。

C4.5 采用动态阈值法：

对连续特征排序（如年龄[22,25,28,30,…]）
计算相邻值中点作为候选划分点（23.5,26.5,29,…）
选择使信息增益最大的分割点

训练阶段：将缺失值样本按现有值比例分配到子节点
预测阶段：同时遍历所有可能分支，按概率加权结果

传统信息增益会偏好取值多的特征（如 ID 类特征），C4.5 引入分裂信息量 (Split Information) 进行标准化：

GainRatio(A) = Gain(A) / SplitInformation(A)
SplitInformation(A) = -∑(|Di|/|D|)*log2(|Di|/|D|)

import numpy as np
import pandas as pd

def calc_entropy(y):
    """计算信息熵"""
    counts = np.bincount(y)
    probs = counts / len(y)
    return -np.sum([p * np.log2(p) for p in probs if p > 0])

def calc_gain_ratio(X_col, y):
    """计算单个特征的增益比"""
    # 原始熵
    total_entropy = calc_entropy(y)

    # 计算信息增益
    if pd.api.types.is_numeric_dtype(X_col):
        # 连续特征处理
        thresholds = np.unique(X_col)[:-1] + np.diff(np.unique(X_col))/2
        best_gain = 0
        for thresh in thresholds:
            mask = X_col <= thresh
            gain = total_entropy - (len(y[mask])/len(y) * calc_entropy(y[mask]) +
                len(y[~mask])/len(y) * calc_entropy(y[~mask])
            )
            if gain > best_gain:
                best_gain = gain
    else:
        # 离散特征处理
        gain = total_entropy
        for value in X_col.unique():
            mask = X_col == value
            gain -= len(y[mask])/len(y) * calc_entropy(y[mask])
        best_gain = gain

    # 计算分裂信息量
    if pd.api.types.is_numeric_dtype(X_col):
        split_info = 1  # 连续特征二分法固定为 1
    else:
        split_info = calc_entropy(X_col.astype('category').cat.codes)

    return best_gain / split_info if split_info != 0 else 0

在 UCI 的 Adult 数据集（预测收入是否 >50K）上的测试结果：