深入解析CART决策树流程：从算法原理到工程实践

1次阅读

没有评论

共计 1518 个字符，预计需要花费 4 分钟才能阅读完成。

CART 决策树采用基尼系数作为分裂准则，其数学定义为：

$$Gini(p) = \sum_{k=1}^K p_k(1-p_k) = 1-\sum_{k=1}^K p_k^2$$

其中 $p_k$ 表示节点中第 $k$ 类样本的比例。分裂增益计算方式为：

$$\Delta Gini = Gini(parent) – \sum_{i=1}^m \frac{n_i}{n} Gini(child_i)$$

预剪枝策略：
设置 max_depth=3 限制树深度
使用 min_samples_split=20 控制分裂最小样本数
后剪枝实现（CCP 代价复杂度剪枝）：

# Python 3.8+ with sklearn 1.0+
from sklearn.tree import DecisionTreeClassifier

clf = DecisionTreeClassifier(ccp_alpha=0.02)  # 剪枝强度参数
clf.fit(X_train, y_train)

调整类别权重（以欺诈检测为例）：

# 设置欺诈样本权重为非欺诈的 10 倍
clf = DecisionTreeClassifier(class_weight={0:1, 1:10})

MDLP 分箱实现（需安装mdlp-discretization）：

from mdlp.discretization import MDLP

discretizer = MDLP()
X_disc = discretizer.fit_transform(X_cont, y)

import numpy as np

def gini_impurity(y):
    _, counts = np.unique(y, return_counts=True)
    p = counts / len(y)
    return 1 - np.sum(p**2)

# 生产环境推荐配置
from sklearn.tree import export_text

model = DecisionTreeClassifier(
    max_depth=5,
    min_samples_leaf=10,
    ccp_alpha=0.01,
    random_state=42
)
model.fit(X_train, y_train)

# 模型解释
print(export_text(model, feature_names=feature_names))

特征处理
优先使用 pd.cut() 代替 one-hot 处理连续特征
对高基数类别特征采用目标编码（target encoding）
性能优化
使用 joblib 加速预测：

from joblib import parallel_backend

with parallel_backend('threading', n_jobs=4):
    predictions = model.predict_proba(X_test)

可视化方案

import matplotlib.pyplot as plt
from sklearn.tree import plot_tree

plt.figure(figsize=(12,8))
plot_tree(model, filled=True, feature_names=feature_names)
plt.show()