机器学习入门：从流程图解析AdaBoost、随机森林与GBDT的核心原理与实现

1次阅读

共计 2950 个字符，预计需要花费 8 分钟才能阅读完成。

集成学习通过组合多个基学习器来提升模型性能，是机器学习中的重要方法。但对于初学者来说，AdaBoost、随机森林和 GBDT 这三种主流集成算法常常让人感到困惑：

算法决策过程不透明，难以理解内部工作机制
参数调优复杂，不知道如何选择合适的超参数
不清楚不同算法间的区别和适用场景
实现时容易遇到过拟合或欠拟合问题

本文将用流程图和对比分析的方式，帮助新手理解这三种算法的核心原理和实现细节。

首先，我们通过下表对比三种算法的关键特性：

特性	AdaBoost	随机森林	GBDT
基学习器	弱学习器（如决策树桩）	完全生长的决策树	决策树（通常浅层）
样本权重	迭代更新	自助采样(bootstrap)	基于梯度调整
并行性	串行	并行	串行
主要参数	学习率、迭代次数	树的数量、最大深度	学习率、迭代次数
主要目标	最小化指数损失	减少方差	最小化损失函数梯度

AdaBoost 的核心思想是通过迭代调整样本权重，让后续的基学习器更关注之前分类错误的样本。其流程如下：

初始化样本权重为均等值
训练第一个基分类器（通常是决策树桩）
计算分类器误差率并更新样本权重
根据误差率计算分类器权重
重复步骤 2 - 4 直到达到预设的迭代次数
将所有基分类器的预测结果加权求和得到最终预测

随机森林通过构建多棵决策树并投票决定最终结果，其核心流程为：

从原始数据集中进行自助采样 (bootstrap) 创建多个子数据集
对每个子数据集训练一棵决策树
在每棵树的节点分裂时，随机选择部分特征进行考察
让每棵树完全生长（不剪枝）
对于分类问题使用投票法，回归问题使用平均法聚合结果

GBDT（梯度提升决策树）通过梯度下降的方式逐步改进模型：

初始化模型，通常使用常数函数（如目标变量的均值）
计算当前模型的负梯度（伪残差）
用决策树拟合这些伪残差
通过线搜索确定步长（学习率）
更新模型：当前模型 = 前一步模型 + 学习率 × 新树
重复步骤 2 - 5 直到满足停止条件

from sklearn.ensemble import AdaBoostClassifier
from sklearn.tree import DecisionTreeClassifier
from sklearn.datasets import make_classification
from sklearn.model_selection import train_test_split

# 生成模拟数据
X, y = make_classification(n_samples=1000, n_features=20, random_state=42)
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

# 创建 AdaBoost 模型
ada = AdaBoostClassifier(base_estimator=DecisionTreeClassifier(max_depth=1),
    n_estimators=50,
    learning_rate=1.0,
    random_state=42
)

# 训练模型
ada.fit(X_train, y_train)

# 评估模型
print(f"Train accuracy: {ada.score(X_train, y_train):.3f}")
print(f"Test accuracy: {ada.score(X_test, y_test):.3f}")

from sklearn.ensemble import RandomForestClassifier

# 创建随机森林模型
rf = RandomForestClassifier(
    n_estimators=100,
    max_depth=10,
    max_features='sqrt',
    random_state=42
)

# 训练模型
rf.fit(X_train, y_train)

# 评估模型
print(f"Train accuracy: {rf.score(X_train, y_train):.3f}")
print(f"Test accuracy: {rf.score(X_test, y_test):.3f}")

# 查看特征重要性
import matplotlib.pyplot as plt
importances = rf.feature_importances_
plt.bar(range(X.shape[1]), importances)
plt.xlabel('Feature index')
plt.ylabel('Feature importance')
plt.show()

from sklearn.ensemble import GradientBoostingClassifier

# 创建 GBDT 模型
gbdt = GradientBoostingClassifier(
    n_estimators=100,
    learning_rate=0.1,
    max_depth=3,
    random_state=42
)

# 训练模型
gbdt.fit(X_train, y_train)

# 评估模型
print(f"Train accuracy: {gbdt.score(X_train, y_train):.3f}")
print(f"Test accuracy: {gbdt.score(X_test, y_test):.3f}")

# 查看训练过程中损失函数的变化
plt.plot(gbdt.train_score_)
plt.xlabel('Number of trees')
plt.ylabel('Training loss')
plt.show()