Bagging与Boosting集成学习框架对比：从原理到实战避坑指南

1次阅读

共计 2245 个字符，预计需要花费 6 分钟才能阅读完成。

在金融风控场景中，单一模型可能会将偶然出现的欺诈交易误判为正常（漏报），而传统逻辑回归对非线性特征组合的识别能力有限。某银行通过组合 100 棵决策树的随机森林，将欺诈检测准确率从 82% 提升至 89%。类似地，电商推荐系统使用梯度提升树（GBDT）融合用户行为序列特征，使点击率预测的 AUC 提高 15%。这些案例展示了集成学习（Ensemble Learning）的核心价值：通过组合多个弱学习器获得比单一模型更稳定、更准确的预测结果。

Bagging（如随机森林）：
并行训练多个基学习器
每个基学习器使用 bootstrap 采样（自助采样）得到的子数据集
最终结果通过投票（分类）或平均（回归）产生
Boosting（如 XGBoost）：
串行训练基学习器，每个新模型聚焦前序模型的错误
通过加权投票组合弱学习器，误差越小的模型权重越高
典型代表：AdaBoost 通过调整样本权重，GBDT 通过梯度下降优化

根据机器学习理论，泛化误差可分解为：
$$\text{Error} = \text{Bias}^2 + \text{Variance} + \text{Irreducible Error}$$

Bagging：通过降低方差（Variance）提升性能。例如随机森林中，每棵树只使用部分特征，减少模型间的相关性
Boosting：通过降低偏差（Bias）提升性能。迭代过程中持续修正残差，使模型逐渐逼近真实分布

特性	Bagging	Boosting
对异常值的敏感性	较低（多数投票）	较高（迭代加权）
对噪声的抵抗力	较强	较弱
训练速度	快（可并行）	慢（需串行）

from sklearn.ensemble import RandomForestClassifier
from sklearn.datasets import load_breast_cancer
import matplotlib.pyplot as plt

# 加载数据
data = load_breast_cancer()
X, y = data.data, data.target

# 关键参数说明：# n_estimators：树的数量（默认 100）# max_depth：控制过拟合，越大模型越复杂
# min_samples_split：节点分裂所需最小样本数
rf = RandomForestClassifier(n_estimators=150, max_depth=5, random_state=42)
rf.fit(X, y)

# 特征重要性可视化
plt.barh(range(len(data.feature_names)), rf.feature_importances_, tick_label=data.feature_names)
plt.title('Random Forest Feature Importance')
plt.show()

import xgboost as xgb
from sklearn.model_selection import train_test_split

# 数据划分
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2)

# 关键参数说明：# learning_rate：收缩权重，控制每棵树的影响力
# subsample：行采样比例
# colsample_bytree：列采样比例
model = xgb.XGBClassifier(
    n_estimators=200,
    max_depth=3,
    learning_rate=0.1,
    subsample=0.8,
    early_stopping_rounds=10  # 早停法参数
)
model.fit(X_train, y_train, eval_set=[(X_test, y_test)])

# 特征重要性（增益方式）xgb.plot_importance(model, importance_type='gain')
plt.show()

Bagging：可在 bootstrap 采样时使用分层抽样（stratified sampling）
Boosting：调整 scale_pos_weight 参数（如正样本数 / 负样本数）

随机森林中单棵树可以较深（因多样性来自特征 / 样本采样）
GBDT 中应限制 max_depth（通常 3 - 6 层），依赖迭代次数提升性能

# XGBoost 早停法示例
eval_set = [(X_train, y_train), (X_test, y_test)]
model.fit(
    X_train, y_train,
    eval_metric='logloss',
    eval_set=eval_set,
    early_stopping_rounds=10,
    verbose=True  # 显示评估指标
)