Bagging与Boosting集成学习框架对比：原理剖析与实战选择指南

1次阅读

共计 2410 个字符，预计需要花费 7 分钟才能阅读完成。

在工业界的机器学习项目中，集成学习（Ensemble Learning）因其出色的泛化性能而广受青睐。然而，面对众多的集成框架，开发者常常陷入选择困难。比如，装袋法 /Bagging（如随机森林 /RandomForest）和提升法 /Boosting（如 XGBoost）虽然都能提升模型性能，但其核心原理和适用场景却大不相同。

典型的困惑包括：

方差 - 偏差权衡 ：Bagging 主要降低方差，适合高方差模型；Boosting 主要降低偏差，适合高偏差模型。
计算资源消耗 ：Bagging 可以并行训练，适合大规模数据；Boosting 是序列训练，计算成本较高。
过拟合风险 ：Boosting 容易过拟合，尤其是在噪声较多的数据上；Bagging 抗过拟合能力较强。

Bagging（装袋法）:

Bagging 通过自助采样法（Bootstrap Sampling）生成多个子数据集，并行训练多个基学习器，最终通过投票或平均得到预测结果。其核心公式可以表示为：

$$
\hat{f}{bag}(x) = \frac{1}{B}\sum f_b(x)
$$}^{B

其中，(B) 是基学习器的数量，(f_b(x) ) 是第 (b) 个基学习器的预测结果。

Boosting（提升法）:

Boosting 通过序列训练基学习器，每个基学习器试图纠正前一个学习器的错误。其核心思想是对错误样本加权，使得后续学习器更关注难样本。以 AdaBoost 为例，其权重更新公式为：

$$
w_i^{(t+1)} = w_i^{(t)} \cdot e^{-\alpha_t y_i h_t(x_i)}
$$

其中，(\alpha_t) 是第 (t) 个基学习器的权重，(h_t(x_i) ) 是其预测结果。

特性	RandomForest	XGBoost	LightGBM
训练速度	快（并行）	中等	极快
抗过拟合能力	强	中等	较弱
特征重要性解释	直观	较直观	较直观
适用数据规模	大规模	中等	大规模

我们使用 sklearn 中的乳腺癌数据集（Breast Cancer Dataset）进行演示。

from sklearn.datasets import load_breast_cancer
from sklearn.model_selection import train_test_split

# 加载数据集
data = load_breast_cancer()
X, y = data.data, data.target

# 划分训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

from sklearn.ensemble import RandomForestClassifier
from sklearn.model_selection import GridSearchCV

# 定义模型
rf = RandomForestClassifier(random_state=42)

# 网格搜索调优
param_grid = {'n_estimators': [50, 100, 200],
    'max_depth': [None, 10, 20]
}

grid_search = GridSearchCV(rf, param_grid, cv=5)
grid_search.fit(X_train, y_train)

# 最佳参数
print("Best parameters:", grid_search.best_params_)

# 测试集评估
best_rf = grid_search.best_estimator_
print("Test accuracy:", best_rf.score(X_test, y_test))

from sklearn.ensemble import AdaBoostClassifier
from sklearn.tree import DecisionTreeClassifier

# 定义基学习器
base_estimator = DecisionTreeClassifier(max_depth=2)

# 定义模型
ada = AdaBoostClassifier(base_estimator=base_estimator, random_state=42)

# 网格搜索调优
param_grid = {'n_estimators': [50, 100, 200],
    'learning_rate': [0.01, 0.1, 1.0]
}

grid_search = GridSearchCV(ada, param_grid, cv=5)
grid_search.fit(X_train, y_train)

# 最佳参数
print("Best parameters:", grid_search.best_params_)

# 测试集评估
best_ada = grid_search.best_estimator_
print("Test accuracy:", best_ada.score(X_test, y_test))