Cart决策树分池案例实战：从原理到工程落地

1次阅读

共计 1902 个字符，预计需要花费 5 分钟才能阅读完成。

在机器学习特征工程中，分池（Binning）是处理连续变量的常见手段。传统方法如等频分箱（Equal Frequency Binning）和等宽分箱（Equal Width Binning）虽然简单，但在实际业务中暴露明显缺陷：

无法捕捉非线性关系：硬性按频率或区间切割，可能破坏变量与目标的相关性
业务解释性差：人工划分的边界缺乏统计依据，难以说服业务方
信息损失严重：尤其在数据分布不均匀时，关键区间可能被合并

决策树分池通过递归寻找最佳分割点，本质是优化问题：

\text{Gini}(D) = 1 - \sum_{k=1}^K (\frac{|C_k|}{|D|})^2

其中 D 为数据集，C_k为第 k 类样本数。与传统方法对比：

维度	传统分箱	Cart 决策树分池
分割依据	人工规则	目标变量相关性
边界合理性	均匀但无业务意义	统计显著的分割点
适用场景	简单快速分箱	需要强解释性的业务场景

from sklearn.tree import DecisionTreeClassifier, plot_tree
import matplotlib.pyplot as plt
import numpy as np

# 构造示例数据（10000 样本，1 个连续特征）X = np.random.uniform(0, 100, size=10000).reshape(-1, 1)
y = (X[:, 0] > 30) & (X[:, 0] < 70)  # 模拟非线性关系

# 训练决策树（关键参数）clf = DecisionTreeClassifier(
    criterion='gini', 
    max_depth=3,      # 控制分桶数量
    min_samples_leaf=0.05  # 防止过拟合
)
clf.fit(X, y)

# 绘制决策边界
plt.figure(figsize=(12, 8))
plot_tree(clf, filled=True, feature_names=['feature'])
plt.show()

# 输出分桶阈值
thresholds = clf.tree_.threshold[clf.tree_.threshold != -2]
print("自动分桶边界:", sorted(thresholds.round(2)))

当遇到类别型变量时，建议先进行 WOE 编码：

from sklearn.preprocessing import OrdinalEncoder

# 假设有类别特征 cat_feat
encoder = OrdinalEncoder()
X_cat = encoder.fit_transform(cat_feat.values.reshape(-1, 1))

# 与连续特征拼接
X_processed = np.hstack([X, X_cat])

通过调整类别权重改善少数类的识别：

# 计算类别权重
class_weight = {0: 1, 1: len(y[y==0])/len(y[y==1])}

clf = DecisionTreeClassifier(
    class_weight=class_weight,  # 重点调整
    max_depth=4
)

使用 bootstrap 采样验证分桶可靠性：

boundaries = []
for _ in range(100):
    idx = np.random.choice(len(X), size=len(X), replace=True)
    clf.fit(X[idx], y[idx])
    thresholds = clf.tree_.threshold[clf.tree_.threshold != -2]
    boundaries.append(thresholds)

# 检查边界波动情况
print("边界标准差:", np.std(boundaries, axis=0))