CART决策树后剪枝实战：如何解决过拟合与模型复杂度平衡问题

1次阅读

共计 1821 个字符，预计需要花费 5 分钟才能阅读完成。

在电商用户分层的业务场景中，我们使用未剪枝的 CART 决策树（Classification and Regression Trees）进行用户价值分类。训练集准确率达到 98%，但测试集准确率仅有 72%——典型的过拟合现象。示例数据如下：

# 模拟数据示例
from sklearn.datasets import make_classification
X, y = make_classification(n_samples=1000, n_features=20, n_informative=5)

# 未剪枝的决策树
from sklearn.tree import DecisionTreeClassifier
full_tree = DecisionTreeClassifier()
full_tree.fit(X[:800], y[:800])  # 80% 训练集

print(f"Train accuracy: {full_tree.score(X[:800], y[:800]):.2f}")
print(f"Test accuracy: {full_tree.score(X[800:], y[800:]):.2f}")

输出结果：

Train accuracy: 1.00
Test accuracy: 0.73

通过 max_depth/min_samples_leaf 等参数提前停止生长
可能错过重要分裂（过早停止问题）
需要大量先验知识设置阈值

代价复杂度剪枝(CCP)：基于 $R_α(T)=R(T)+α|\tilde{T}|$ 公式（$α$ 为复杂度系数）
悲观错误剪枝(PEP)：使用统计校正的误差估计
保留完整树结构后再优化，理论更完备

import matplotlib.pyplot as plt
from sklearn.tree import plot_tree

plt.figure(figsize=(20,10))
plot_tree(full_tree, filled=True, feature_names=[f"F{i}" for i in range(20)])
plt.show()

path = full_tree.cost_complexity_pruning_path(X[:800], y[:800])
ccp_alphas, impurities = path.ccp_alphas, path.impurities

plt.plot(ccp_alphas[:-1], impurities[:-1], marker='o')
plt.xlabel("Effective alpha")
plt.ylabel("Total impurity of leaves")

from sklearn.model_selection import cross_val_score

clfs = []
for ccp_alpha in ccp_alphas:
    clf = DecisionTreeClassifier(ccp_alpha=ccp_alpha)
    scores = cross_val_score(clf, X[:800], y[:800], cv=5)
    clfs.append((ccp_alpha, scores.mean()))

best_alpha = max(clfs, key=lambda x: x[1])[0]