Adaboost算法实战：为何选择不剪枝决策树作为基学习器？

1次阅读

没有评论

共计 2176 个字符，预计需要花费 6 分钟才能阅读完成。

AdaBoost（Adaptive Boosting）是一种经典的提升（Boosting）算法，它通过组合多个弱分类器来构建一个强分类器。其核心思想是：

每一轮训练后，增加错误分类样本的权重，降低正确分类样本的权重
根据基学习器的准确率赋予不同的权重
最终将所有基学习器加权组合

基学习器的选择直接影响 AdaBoost 的性能。传统决策树通常需要剪枝防止过拟合，但在 AdaBoost 中，我们却有意使用不剪枝的决策树（即完全生长的决策树）。这是为什么呢？

通过剪枝减少树的深度，防止过拟合
泛化能力强，但可能欠拟合
模型偏差较大，方差较小

完全生长，直到所有叶子节点纯净或达到最小样本数
更容易过拟合单一数据集
模型偏差小，方差大

AdaBoost 通过以下机制与不剪枝决策树形成互补：

高偏差的基学习器会导致集成效果不佳，因为难以通过加权组合改善
不剪枝决策树具有低偏差，虽然单个树方差大，但通过 AdaBoost 的加权组合可以有效降低整体方差
完全生长的树能捕捉更细微的数据模式，这些模式在集成后成为有价值的特征

from sklearn.ensemble import AdaBoostClassifier
from sklearn.tree import DecisionTreeClassifier
from sklearn.datasets import make_classification
from sklearn.model_selection import train_test_split
from sklearn.metrics import accuracy_score

# 生成模拟数据
X, y = make_classification(n_samples=1000, n_features=20, 
                          n_informative=15, random_state=42)
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=42)

# 创建不剪枝的决策树作为基学习器
# max_depth=None 表示不限制深度，完全生长
base_tree = DecisionTreeClassifier(
    criterion='gini',
    splitter='best',
    max_depth=None,  # 关键参数：不限制深度
    min_samples_split=2,  # 最小分裂样本数
    min_samples_leaf=1,  # 叶节点最小样本数
    random_state=42
)

# 创建 AdaBoost 分类器
adaboost = AdaBoostClassifier(
    base_estimator=base_tree,
    n_estimators=50,  # 基学习器数量
    learning_rate=1.0,  # 学习率
    algorithm='SAMME.R',
    random_state=42
)

# 训练模型
adaboost.fit(X_train, y_train)

# 预测
pred_train = adaboost.predict(X_train)
pred_test = adaboost.predict(X_test)

# 评估
print(f"Train accuracy: {accuracy_score(y_train, pred_train):.4f}")
print(f"Test accuracy: {accuracy_score(y_test, pred_test):.4f}")

我们通过对比实验展示不剪枝决策树的优势：