集成学习三剑客：深入解析AdaBoost、随机森林与GBDT算法流程图

1次阅读

共计 2185 个字符，预计需要花费 6 分钟才能阅读完成。

集成学习通过组合多个基学习器来提升模型性能，其核心思想是 ” 三个臭皮匠顶个诸葛亮 ”。在机器学习实践中，AdaBoost、随机森林和 GBDT 作为集成学习的代表算法，尽管都遵循 ” 组合弱学习器形成强学习器 ” 的基本理念，但在具体实现和适用场景上存在显著差异。

初始化样本权重：给训练集中每个样本分配相同权重
迭代训练弱分类器：
使用当前样本权重训练弱分类器
计算分类器错误率
根据错误率更新分类器权重
更新样本权重：增加分类错误样本的权重
组合弱分类器：通过加权投票得到最终预测

AdaBoost 的特点在于其自适应地调整样本权重，使模型更关注难分类样本。

自助采样：从原始数据集中有放回地随机抽取 n 个样本
特征随机选择：从所有特征中随机选择 k 个特征
构建决策树：基于采样数据和特征子集构建完整决策树
重复上述过程构建多棵树
投票聚合：对分类问题采用多数表决，回归问题则取平均

随机森林通过双重随机性（数据采样和特征选择）来增强模型多样性。

初始化模型：通常用常数函数作为初始预测
计算当前模型的负梯度（伪残差）
用决策树拟合伪残差
通过线搜索确定步长
更新模型：将新决策树加入模型
重复步骤 2 - 5 直到满足停止条件

GBDT 通过梯度下降的方式逐步优化模型，特别适合处理复杂的非线性关系。

特性	AdaBoost	随机森林	GBDT
偏差 - 方差	低偏差，易过拟合	平衡偏差和方差	低偏差
并行化能力	弱	强	弱
特征重要性评估	基于权重	基于 Gini 重要性	基于分裂增益
主要适用问题	分类	分类 / 回归	回归 / 分类

AdaBoost：适用于特征维度不高、样本噪声较少的分类问题，如人脸检测
随机森林：适用于需要快速开发原型、数据存在缺失值的情况，如用户行为分析
GBDT：适用于需要高预测精度、特征间存在复杂交互的场景，如搜索排序

from sklearn.ensemble import AdaBoostClassifier
from sklearn.tree import DecisionTreeClassifier

# 初始化基分类器
base_est = DecisionTreeClassifier(max_depth=1)
# 创建 AdaBoost 分类器
ada = AdaBoostClassifier(
    base_estimator=base_est,
    n_estimators=50,
    learning_rate=1.0
)
# 训练模型
ada.fit(X_train, y_train)

from sklearn.ensemble import RandomForestClassifier

# 创建随机森林分类器
rf = RandomForestClassifier(
    n_estimators=100,
    max_depth=None,
    min_samples_split=2,
    random_state=42
)
# 训练模型
rf.fit(X_train, y_train)

from sklearn.ensemble import GradientBoostingClassifier

# 创建 GBDT 分类器
gbdt = GradientBoostingClassifier(
    n_estimators=100,
    learning_rate=0.1,
    max_depth=3,
    subsample=0.8
)
# 训练模型
gbdt.fit(X_train, y_train)

import matplotlib.pyplot as plt
import pandas as pd

# 随机森林特征重要性
feat_importances = pd.Series(rf.feature_importances_, index=feature_names)
feat_importances.nlargest(10).plot(kind='barh')
plt.title('Random Forest Feature Importance')
plt.show()