集成学习实战：从Adaboost、随机森林到GBDT的算法流程图解与性能优化

1次阅读

共计 2054 个字符，预计需要花费 6 分钟才能阅读完成。

在机器学习项目中，我们常常面临这样的困境：单个模型要么过于简单导致欠拟合（高偏差），要么过于复杂导致过拟合（高方差）。集成学习通过组合多个弱学习器，能够有效平衡偏差与方差。但对于开发者来说，Adaboost、随机森林和 GBDT 这三种主流集成方法的选择往往令人困惑：

Adaboost：适合处理分类问题，但对噪声数据敏感
随机森林 ：训练效率高，但可能浪费内存
GBDT：预测精度高，但调参复杂度较高

flowchart TD
    A[初始化样本权重 1 /N] --> B[训练弱分类器]
    B --> C[计算加权错误率 ε]
    C --> D[更新分类器权重 α =0.5*ln((1-ε)/ε)]
    D --> E[更新样本权重: 错误样本权重增加]
    E --> F{达到迭代次数?}
    F -- 否 --> B
    F -- 是 --> G[加权组合所有弱分类器]

关键点：
– 每轮迭代会增加错分样本的权重
– 最终预测是所有弱分类器的加权投票

flowchart TD
    A[从训练集有放回抽样] --> B[随机选择特征子集]
    B --> C[构建决策树]
    C --> D{构建完所有树?}
    D -- 否 --> A
    D -- 是 --> E[所有树投票决定最终结果]

优势体现：
– 列采样降低树之间的相关性
– 天然支持并行化训练

flowchart TD
    A[初始化常数值预测] --> B[计算残差梯度]
    B --> C[用决策树拟合残差]
    C --> D[更新预测: 原预测 + 学习率 * 新树预测]
    D --> E{达到迭代次数?}
    E -- 否 --> B
    E -- 是 --> F[输出最终累加结果]

核心参数：
– shrinkage（学习率）：控制每棵树的贡献程度
– 树数量：需要与学习率配合调整

from sklearn.ensemble import AdaBoostClassifier
from sklearn.tree import DecisionTreeClassifier

# 使用决策树作为基分类器
base_estimator = DecisionTreeClassifier(max_depth=1)
adaboost = AdaBoostClassifier(
    estimator=base_estimator,
    n_estimators=50,
    learning_rate=1.0,
    random_state=42
)
# 训练时自动处理样本权重
adaboost.fit(X_train, y_train)

import matplotlib.pyplot as plt
from sklearn.ensemble import RandomForestClassifier

rf = RandomForestClassifier(n_estimators=100, max_features='sqrt')
rf.fit(X_train, y_train)

# 绘制特征重要性
plt.barh(X.columns, rf.feature_importances_)
plt.xlabel('Feature Importance Score')
plt.title('Random Forest Feature Importance')

from sklearn.ensemble import GradientBoostingRegressor

gbdt = GradientBoostingRegressor(
    n_estimators=200,
    learning_rate=0.1,
    max_depth=3,
    validation_fraction=0.2  # 早停验证集比例
)
# 自动支持早停机制
gbdt.fit(X_train, y_train)

测试环境：
– CPU: Intel i7-11800H
– 内存: 32GB DDR4
– 数据集: Wine Quality (4898 个样本)