Cart决策树分池案例实战：从原理到工程落地

1次阅读

共计 2080 个字符，预计需要花费 6 分钟才能阅读完成。

在特征工程中，分池（Binning）是将连续特征转换为离散区间的常见操作。传统方法如等频分箱（Equal Frequency Binning）和等宽分箱（Equal Width Binning）虽然简单，但在实际业务场景中暴露明显缺陷：

无法捕捉非线性关系：等频 / 等宽分箱的边界是固定的，无法根据特征与标签的实际关联动态调整。例如在风控场景中，收入与违约率可能呈现 U 型关系，传统分箱会丢失这种模式。
业务解释性差：人工划分的边界缺乏统计学依据，难以说服业务方接受。
信息损失严重：尤其当特征存在长尾分布时，大量数据会被压缩到少数几个桶中。

Cart（Classification and Regression Trees）决策树通过递归分割数据，天然适合解决分池问题。其核心优势在于：

数据驱动边界：基于 Gini 系数（分类任务）或方差（回归任务）自动寻找最优分割点，数学表达为：
```
Gini(t) = 1 - Σ [p(i|t)]²
```
其中 p(i|t) 是节点 t 中类别 i 的比例，分割时选择使 Gini 下降最大的特征和阈值。
捕捉交互作用：可以同时考虑多个特征的组合效应，例如同时用年龄和收入划分用户群体。
可解释性强：最终分桶结果可以直观表示为决策规则树。

from sklearn.tree import DecisionTreeClassifier, plot_tree
import pandas as pd
import matplotlib.pyplot as plt

# 示例数据：收入与违约标签
data = pd.DataFrame({'income': [15,25,35,45,55,65,75,85,95,105], 
                     'default': [1,0,0,1,0,0,1,1,0,1]})

# 使用 max_depth 控制分桶数量
dtree = DecisionTreeClassifier(
    criterion='gini', 
    max_depth=2,  # 最终得到 2^2= 4 个分箱
    min_samples_leaf=3  # 防止过拟合
)
dtree.fit(data[['income']], data['default'])

# 可视化分桶边界
plt.figure(figsize=(12,4))
plot_tree(dtree, feature_names=['income'], class_names=['No','Yes'])
plt.show()

当遇到类别型特征（如职业类型）时，需先进行 WOE（Weight of Evidence）编码：

# 计算 WOE 值
def woe_encoder(df, feature, target):
    woe = df.groupby(feature)[target].agg(['mean','count'])
    woe['woe'] = np.log((1-woe['mean'])/woe['mean'])
    return woe['woe'].to_dict()

# 应用 WOE 转换
data['job_type_woe'] = data['job_type'].map(woe_encoder(data, 'job_type', 'default'))

通过 class_weight 参数调整类别权重：

dtree = DecisionTreeClassifier(class_weight={0:1, 1:3}  # 违约样本权重设为 3 倍
)

使用 bootstrap 采样验证分桶边界稳定性：

boundaries = []
for _ in range(100):
    sample = data.sample(frac=0.8, replace=True)
    dtree.fit(sample[['income']], sample['default'])
    boundaries.append(dtree.tree_.threshold[0])  # 记录第一个分割点

plt.hist(boundaries, bins=20)
plt.title('分割点分布')
plt.show()