Adaboost不剪枝决策树基学习器实战：解决分类任务中的过拟合问题

1次阅读

共计 1823 个字符，预计需要花费 5 分钟才能阅读完成。

在机器学习分类任务中，决策树因其直观易懂、解释性强而广受欢迎。然而，传统决策树有一个明显的缺陷——容易过拟合。当决策树生长得过深时，它会过度拟合训练数据中的噪声和细节，导致在测试集上表现不佳。为了解决这个问题，常见的做法是进行剪枝（pruning），通过限制树的深度或叶子节点数量来简化模型。但剪枝也可能带来另一个问题：欠拟合，导致模型无法捕捉数据中的重要模式。

剪枝决策树
优点：减少模型复杂度，降低过拟合风险
缺点：可能丢失重要特征，导致欠拟合
适用场景：数据量较小、特征维度较低的简单任务
不剪枝决策树
优点：能充分捕捉数据特征，训练误差低
缺点：容易过拟合，泛化能力差
适用场景：作为集成学习的基学习器，配合其他方法使用

Adaboost（Adaptive Boosting）是一种集成学习算法，它通过以下方式补偿不剪枝决策树的过拟合倾向：

迭代训练：Adaboost 通过多轮迭代，每一轮都给予误分类样本更高的权重
加权投票：最终预测结果是所有基学习器的加权投票，误差小的分类器权重更大
自适应调整：算法会自动调整每个基学习器的重要性，降低过拟合基学习器的影响

这种机制使得即使单个决策树过拟合，整体集成模型仍能保持良好的泛化能力。

from sklearn.ensemble import AdaBoostClassifier
from sklearn.tree import DecisionTreeClassifier
from sklearn.datasets import make_classification
from sklearn.model_selection import train_test_split
from sklearn.metrics import accuracy_score

# 生成模拟数据
X, y = make_classification(n_samples=1000, n_features=20, n_informative=15, random_state=42)
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=42)

# 创建不剪枝的决策树作为基学习器
base_estimator = DecisionTreeClassifier(max_depth=None, min_samples_split=2, min_samples_leaf=1)

# 创建 Adaboost 分类器
adaboost = AdaBoostClassifier(
    base_estimator=base_estimator,
    n_estimators=50,
    learning_rate=1.0,
    random_state=42
)

# 训练模型
adaboost.fit(X_train, y_train)

# 预测并评估
predictions = adaboost.predict(X_test)
print(f"Test Accuracy: {accuracy_score(y_test, predictions):.4f}")

我们测试了该方案在不同规模数据集上的表现：