Adaboost算法解析：为什么它不采用梯度下降优化？

1次阅读

共计 2097 个字符，预计需要花费 6 分钟才能阅读完成。

Adaboost（Adaptive Boosting）是一种经典的集成学习算法，通过组合多个弱分类器来构建一个强分类器。它的核心思想是通过迭代调整样本权重，使得后续的弱分类器能够更关注之前分类错误的样本。Adaboost 在二分类问题上表现优异，广泛应用于人脸识别、文本分类等领域。

Adaboost 的基本流程如下：

初始化样本权重，通常为均匀分布
训练一个弱分类器，计算其分类误差
根据误差更新样本权重，增加分类错误样本的权重
重复步骤 2 -3，直到达到预设的迭代次数
组合所有弱分类器，形成最终的强分类器

梯度下降是优化模型参数的通用方法，通过计算损失函数的梯度并沿负梯度方向更新参数。而 Adaboost 采用完全不同的优化策略：

优化目标不同 ：
梯度下降：直接最小化损失函数
Adaboost：通过调整样本权重，逐步改进整体分类性能
参数更新方式不同 ：
梯度下降：连续参数空间中的小步更新
Adaboost：离散的权重调整和分类器组合

数学表达式对比：

梯度下降的参数更新公式：

θ_t+1 = θ_t - η∇L(θ_t)

Adaboost 的样本权重更新公式：

w_i^(t+1) = w_i^(t) * exp(-α_t y_i h_t(x_i))

其中 α_t 是分类器的权重，h_t 是第 t 个弱分类器。

Adaboost 的优化策略包含两个关键部分：

样本权重调整 ：
初始时所有样本权重相同
每次迭代后，增加分类错误样本的权重
这使得后续分类器更关注难分类的样本
弱分类器组合 ：
每个弱分类器根据其准确率被赋予一个权重
最终预测是所有弱分类器的加权投票
准确率高的分类器在最终决策中具有更大话语权

这种机制使得 Adaboost 能够自适应地调整学习重点，而无需计算梯度或进行参数微调。

下面是一个简单的 Adaboost 分类器实现（使用决策树桩作为弱分类器）：

import numpy as np
from sklearn.tree import DecisionTreeClassifier

class AdaBoost:
    def __init__(self, n_estimators=50):
        self.n_estimators = n_estimators
        self.models = []
        self.alphas = []

    def fit(self, X, y):
        n_samples = X.shape[0]
        # 初始化样本权重
        w = np.ones(n_samples) / n_samples

        for _ in range(self.n_estimators):
            # 训练弱分类器（决策树桩，max_depth=1）model = DecisionTreeClassifier(max_depth=1)
            model.fit(X, y, sample_weight=w)
            pred = model.predict(X)

            # 计算加权错误率
            err = np.sum(w * (pred != y)) / np.sum(w)

            # 计算分类器权重
            alpha = 0.5 * np.log((1 - err) / max(err, 1e-10))

            # 更新样本权重
            w *= np.exp(-alpha * y * pred)
            w /= np.sum(w)  # 归一化

            # 保存模型和权重
            self.models.append(model)
            self.alphas.append(alpha)

    def predict(self, X):
        preds = np.array([model.predict(X) for model in self.models])
        # 加权投票
        return np.sign(np.dot(self.alphas, preds))

Adaboost 的优势和局限性：