C45决策树实战：从数据清洗到模型调优的全流程解决方案

1次阅读

共计 2117 个字符，预计需要花费 6 分钟才能阅读完成。

决策树算法中，ID3 使用信息增益作为特征选择标准，但存在两个明显缺陷：

偏向取值多的特征：信息增益 $Gain(D,A)=H(D)-H(D|A)$ 会天然偏好取值数目较多的属性（如身份证号这种唯一 ID）
无法处理连续值：ID3 只能处理离散型特征，现实场景中大量连续值特征（如年龄、收入）需要手动离散化

C45 算法的核心改进在于：

引入 信息增益比（Gain Ratio）:
$$Gain_ratio(D,A) = \frac{Gain(D,A)}{IV(A)}$$
其中固有值 $IV(A)=-\sum_{v=1}^{V}\frac{|D^v|}{|D|}\log_2\frac{|D^v|}{|D|}$，相当于对信息增益做了归一化
新增对连续特征的处理：通过二分法（Binary Split）寻找最佳分割点

class Node:
    def __init__(self, feature=None, threshold=None, left=None, right=None, value=None):
        self.feature = feature  # 分裂特征
        self.threshold = threshold  # 连续特征分割阈值
        self.left = left  # 左子树
        self.right = right  # 右子树
        self.value = value  # 叶节点预测值

import numpy as np

def entropy(y):
    _, counts = np.unique(y, return_counts=True)
    probs = counts / len(y)
    return -np.sum(probs * np.log2(probs + 1e-10))  # 避免 log(0)

def find_best_split(X_col, y):
    unique_values = np.unique(X_col)
    best_gain = -1
    best_threshold = None

    for threshold in unique_values:
        left_idx = X_col <= threshold
        right_idx = X_col > threshold

        if len(y[left_idx]) == 0 or len(y[right_idx]) == 0:
            continue

        current_gain = information_gain(y, y[left_idx], y[right_idx])

        if current_gain > best_gain:
            best_gain = current_gain
            best_threshold = threshold

    return best_threshold, best_gain

方法	适用场景	实现复杂度	效果稳定性
众数 / 均值填充	缺失较少且随机	★★☆	★★★
构建「缺失」分支	缺失具有业务意义	★★★	★★☆
概率权重分配	高缺失率场景	★★★★	★★★★

# sklearn 中的关键剪枝参数
dtree = DecisionTreeClassifier(
    max_depth=5,          # 树的最大深度
    min_samples_split=10, # 节点分裂最小样本数
    min_impurity_decrease=0.01,  # 分裂增益阈值
    ccp_alpha=0.02        # 代价复杂度剪枝系数
)

调优建议：

先用网格搜索确定大致的参数范围
优先调整 max_depth 防止模型过于复杂
ccp_alpha需要配合交叉验证选择

训练阶段：$O(n\times m\times d\times \log n)$
$n$: 样本数
$m$: 特征数
$d$: 树深度
预测阶段：$O(d)$

特征预筛选：
卡方检验选择 TOP- K 特征
互信息法过滤低相关性特征
采样策略：
对多数类随机欠采样
对少数类 SMOTE 过采样

增量学习：

from sklearn.tree import DecisionTreeClassifier

clf = DecisionTreeClassifier()

# 分批训练
for batch in pd.read_csv('large_data.csv', chunksize=10000):
    clf.fit(batch[features], batch[target])

当遇到「城市」「商品 ID」等高基数类别特征时：