基于CART决策树的分池案例优化：解决高维度特征下的过拟合问题

1次阅读

没有评论

共计 1757 个字符，预计需要花费 5 分钟才能阅读完成。

最近在用户画像项目中用 CART 决策树处理 3000+ 维的稀疏特征时，遇到了两个典型问题：

内存爆炸 ：特征维度导致决策树节点指数级增长，训练时内存占用经常突破 32GB
过拟合严重 ：测试集 AUC 比训练集低 0.15 以上，从特征重要性图看到大量长尾特征被过度关注

通过分析混淆矩阵发现：

过拟合导致模型在少数类别上 Recall 骤降（从 0.78→0.43）
特征重要性前 50 名中，有 32 个是低频稀疏特征

核心思想是将相似特征合并为特征池，降低维度。用基尼系数作为合并依据：

$$
Gini(p) = 1 – \sum_{k=1}^K p_k^2
$$

动态分桶步骤：

计算每个特征的基尼重要性
按重要性排序后滑动窗口计算局部基尼系数差
当相邻特征间 $\Delta Gini < \theta$ 时合并（实践中 $\theta=0.02$ 效果最佳）

采用代价复杂度剪枝 (CCP)：

计算子树复杂度代价：
$$
R_{\alpha}(T) = R(T) + \alpha|\tilde{T}|
$$
遍历所有非叶节点，计算剪枝后的 $\alpha$ 增益
选择使整体损失下降最大的 $\alpha$ 值

# Python 3.8 + sklearn 1.0.2
from sklearn.pipeline import Pipeline
from sklearn.tree import DecisionTreeClassifier

class DynamicBinningTransformer:
    def __init__(self, gini_threshold=0.02):
        self.threshold = gini_threshold

    def fit(self, X, y):
        # 计算特征基尼系数
        gini_scores = []
        for i in range(X.shape[1]):
            clf = DecisionTreeClassifier(max_depth=1)
            clf.fit(X[:,i:i+1], y)
            gini_scores.append(1 - clf.score(X[:,i:i+1], y))

        # 动态分桶（关键步骤）self.bins_ = []
        current_bin = [0]
        for i in range(1, len(gini_scores)):
            if abs(gini_scores[i] - gini_scores[i-1]) < self.threshold:
                current_bin.append(i)
            else:
                self.bins_.append(current_bin)
                current_bin = [i]
        return self

    def transform(self, X):
        # 合并特征池
        return np.hstack([X[:,bin].mean(axis=1, keepdims=True) 
                         for bin in self.bins_])

# 完整 Pipeline 示例
pipe = Pipeline([('binning', DynamicBinningTransformer()),
    ('clf', DecisionTreeClassifier(ccp_alpha=0.01))
])