CART决策树后剪枝实战：如何解决过拟合与模型复杂度平衡问题

1次阅读

没有评论

共计 1740 个字符，预计需要花费 5 分钟才能阅读完成。

在机器学习项目中，我们经常会遇到模型在训练集上表现优异，但在测试集上却差强人意的情况。这通常意味着模型出现了过拟合。今天，我们就来聊聊如何使用后剪枝技术解决 CART 决策树中的过拟合问题，并找到模型复杂度与泛化能力的平衡点。

想象一下，你训练了一个 CART 决策树模型，训练集准确率高达 98%，但测试集只有 75%。这种巨大的差距就是典型的过拟合现象。过拟合的决策树往往会生长出过多的分支，捕捉到了训练数据中的噪声而非真实规律。

在解决过拟合问题时，我们有两种主要方法：

预剪枝 (Pre-pruning)：在树生长过程中提前停止分裂
后剪枝 (Post-pruning)：先让树完全生长，再修剪不必要的分支

后剪枝通常效果更好，因为它不会像预剪枝那样因过早停止而错过重要的分裂。常见的后剪枝方法包括：

代价复杂度剪枝 (CCP)
悲观错误剪枝 (PEP)
最小误差剪枝 (MEP)

让我们用代码演示如何使用 sklearn 实现 CCP 剪枝。首先，我们需要训练一个完整的决策树：

from sklearn.tree import DecisionTreeClassifier
from sklearn.datasets import load_breast_cancer
from sklearn.model_selection import train_test_split

# 加载数据
X, y = load_breast_cancer(return_X_y=True)
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=42)

# 训练完整决策树
clf = DecisionTreeClassifier(random_state=42)
clf.fit(X_train, y_train)

print(f"训练集准确率: {clf.score(X_train, y_train):.2f}")
print(f"测试集准确率: {clf.score(X_test, y_test):.2f}")

接下来，我们计算代价复杂度路径并选择最优 alpha 值：

path = clf.cost_complexity_pruning_path(X_train, y_train)
ccp_alphas, impurities = path.ccp_alphas, path.impurities

# 交叉验证选择最佳 alpha
from sklearn.model_selection import cross_val_score

alpha_scores = []
for alpha in ccp_alphas:
    pruned_clf = DecisionTreeClassifier(random_state=42, ccp_alpha=alpha)
    scores = cross_val_score(pruned_clf, X_train, y_train, cv=5)
    alpha_scores.append((alpha, scores.mean()))

best_alpha = sorted(alpha_scores, key=lambda x: x[1], reverse=True)[0][0]
print(f"最佳 alpha 值: {best_alpha:.4f}")

剪枝不仅影响模型性能，还会影响推理速度。我们的测试显示：