Adaboost算法实战：使用不剪枝决策树作为基学习器的实现与优化

1次阅读

共计 2644 个字符，预计需要花费 7 分钟才能阅读完成。

Adaboost（自适应提升）是一种经典的集成学习算法，通过组合多个弱学习器来构建强分类器。它的核心思想是通过迭代调整样本权重，让后续的基学习器更关注之前分类错误的样本。对于基学习器的选择，Adaboost 并没有严格限制，但通常要求其分类准确率略高于随机猜测（即弱学习器）。

决策树是一种直观且易于理解的基学习器选择。不剪枝的决策树意味着我们让树完全生长，直到所有叶子节点都是纯的或达到最小样本数限制。这与常规决策树应用中常见的剪枝操作形成对比。

在选择 Adaboost 的基学习器时，我们通常有几种常见选择：

决策树桩（单层决策树）：最简单的决策树形式，计算速度快但表达能力有限
线性模型（如逻辑回归）：适合线性可分数据，但对复杂边界建模能力弱
不剪枝决策树：能捕捉复杂模式，但计算成本较高
神经网络：表达能力最强，但训练时间长且需要大量调参

不剪枝决策树作为基学习器的优势在于：

能够自动发现特征间的高阶交互作用
对数据分布假设较少，适用性广
可解释性相对较好

但需要注意，完全生长的决策树容易过拟合单个基学习器，不过在 Adaboost 的集成框架下，这种过拟合往往能被有效控制。

在 scikit-learn 中，我们可以通过设置 DecisionTreeClassifier 的参数来实现不剪枝决策树：

max_depth=None：不限制树的最大深度
min_samples_split=2：节点最少需要 2 个样本才会继续分裂
min_samples_leaf=1：叶节点最少包含 1 个样本
max_features=None：考虑所有特征寻找最佳分裂

Adaboost 的权重更新分为两个部分：

样本权重：初始时所有样本权重相同，每轮迭代后增加错误分类样本的权重
基学习器权重：根据基学习器的准确率赋予不同权重，准确率越高权重越大

这种双权重机制使得 Adaboost 能够专注于难样本，同时给予表现好的基学习器更大话语权。

from sklearn.ensemble import AdaBoostClassifier
from sklearn.tree import DecisionTreeClassifier
from sklearn.datasets import make_classification
from sklearn.model_selection import train_test_split
from sklearn.metrics import accuracy_score

# 生成模拟数据
X, y = make_classification(n_samples=1000, n_features=20, n_informative=15, random_state=42)
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

# 创建不剪枝决策树作为基学习器
base_estimator = DecisionTreeClassifier(
    max_depth=None,
    min_samples_split=2,
    min_samples_leaf=1,
    max_features=None,
    random_state=42
)

# 创建 Adaboost 分类器
adaboost = AdaBoostClassifier(
    estimator=base_estimator,
    n_estimators=50,
    learning_rate=1.0,
    algorithm='SAMME.R',
    random_state=42
)

# 训练模型
adaboost.fit(X_train, y_train)

# 评估模型
y_pred = adaboost.predict(X_test)
print(f"Test accuracy: {accuracy_score(y_test, y_pred):.4f}")

使用不剪枝决策树作为基学习器时，需要考虑以下性能因素：