C4.5决策树实战：如何解决分类任务中的连续值处理难题

1次阅读

没有评论

共计 2224 个字符，预计需要花费 6 分钟才能阅读完成。

在分类任务中，连续值特征处理是决策树面临的经典难题。ID3 算法存在两个明显缺陷：

无法直接处理连续值特征，需要人工预先离散化
偏向选择取值较多的特征（如 ID 类特征）

C4.5 算法的改进体现在：

引入信息增益率替代信息增益
自动处理连续值特征
支持缺失值处理
加入剪枝机制防止过拟合

信息增益比 = 信息增益 / 固有值 (IV)

其中：

信息增益 $Gain(D,A) = Ent(D) – \sum_{v=1}^V \frac{|D^v|}{|D|}Ent(D^v)$
固有值 $IV(A) = -\sum_{v=1}^V \frac{|D^v|}{|D|} \log_2 \frac{|D^v|}{|D|}$

def calc_info_gain_ratio(dataset, feature):
    # 计算原始熵
    base_entropy = calc_entropy(dataset)

    # 计算按特征分割后的条件熵
    cond_entropy, iv = 0, 0
    for value in feature_unique_values:
        subset = split_dataset(dataset, feature, value)
        prob = len(subset)/len(dataset)
        cond_entropy += prob * calc_entropy(subset)
        iv += -prob * log(prob, 2)

    # 避免除零错误
    return (base_entropy - cond_entropy) / iv if iv !=0 else 0

class TreeNode:
    def __init__(self, feat_name=None, threshold=None, 
                 left=None, right=None, value=None):
        self.feat_name = feat_name  # 分裂特征名
        self.threshold = threshold  # 连续值分割阈值
        self.left = left            # 左子树
        self.right = right          # 右子树
        self.value = value          # 叶节点预测值

def find_best_split(series, labels):
    unique_vals = sorted(series.unique())
    best_gain, best_thresh = 0, None

    # 尝试所有相邻值的中间点作为候选分割点
    for i in range(1, len(unique_vals)):
        thresh = (unique_vals[i-1] + unique_vals[i]) / 2
        mask = series <= thresh
        gain = calc_info_gain_ratio(labels, mask)
        if gain > best_gain:
            best_gain, best_thresh = gain, thresh

    return best_thresh

def prune(tree, valid_data):
    if tree.value is not None: 
        return tree

    # 递归剪枝子树
    tree.left = prune(tree.left, valid_data)
    tree.right = prune(tree.right, valid_data)

    # 计算当前节点和合并为叶节点的错误率
    error_before = calc_error(tree, valid_data)
    majority_class = get_majority_class(valid_data)
    error_after = calc_error(majority_class, valid_data)

    return TreeNode(value=majority_class) if error_after <= error_before else tree

工程中常用方法：

等宽分箱：按值范围均匀划分
等频分箱：使每个区间样本数相同
基于聚类的分箱：K-means

# 示例：等频分箱实现
def equal_freq_binning(series, n_bins=10):
    percentiles = np.linspace(0, 100, n_bins+1)
    bins = np.percentile(series, percentiles)
    return pd.cut(series, bins, duplicates='drop')