Adaboosting与随机森林实战对比：如何为分类问题选择最佳集成算法

1次阅读

共计 2641 个字符，预计需要花费 7 分钟才能阅读完成。

在机器学习分类任务中，决策树因其直观易懂而广受欢迎。但它的局限性也很明显：

容易过拟合，对训练数据中的噪声敏感
方差高，数据微小变化可能导致完全不同的树结构
准确率有限，特别是在复杂问题上

这时候，集成学习方法应运而生。它们通过组合多个弱学习器来构建更强的模型。Adaboosting 和随机森林就是两种最著名的集成方法，但它们采取了完全不同的策略。

维度	Adaboosting	随机森林
训练速度	较慢（需顺序训练）	快（可并行）
特征敏感性	高（依赖关键特征）	低（特征子采样）
噪声容忍度	低（会加强错误样本）	高（多数投票降低噪声影响）
过拟合倾向	中等（控制迭代次数）	低（内置随机性）
解释性	中等（可跟踪样本权重）	高（特征重要性明确）

初始化样本权重为 1 /N（N 为样本数）
训练第一个弱分类器（通常是浅层决策树）
计算分类误差率并更新：
增加错分类样本的权重
减少正确分类样本的权重
根据误差率计算当前分类器的权重
重复步骤 2 - 4 直到达到指定迭代次数

数学表达：

样本权重更新公式：
$$w_i^{(t+1)} = w_i^{(t)} \cdot e^{\alpha_t \cdot I(y_i \neq h_t(x_i))}$$

其中 $\alpha_t = \frac{1}{2}ln\left(\frac{1-\epsilon_t}{\epsilon_t}\right)$ 是分类器权重。

通过 Bootstrap 采样创建多个数据集
对每个数据集：
随机选择特征子集（通常为√p，p 为总特征数）
构建未剪枝的决策树
最终通过多数投票或平均预测决定结果

关键优势在于 ” 双重随机性 ”：数据采样和特征采样。

from sklearn.ensemble import AdaBoostClassifier, RandomForestClassifier
from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split
import matplotlib.pyplot as plt

# 加载数据
iris = load_iris()
X, y = iris.data, iris.target
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2)

# Adaboosting
ada = AdaBoostClassifier(n_estimators=100, learning_rate=0.8)
ada.fit(X_train, y_train)

# 随机森林
rf = RandomForestClassifier(n_estimators=100, max_features='sqrt', oob_score=True)
rf.fit(X_train, y_train)

# 特征重要性可视化
fig, (ax1, ax2) = plt.subplots(1, 2, figsize=(12,5))
ax1.barh(range(4), ada.feature_importances_, align='center')
ax1.set_yticks(range(4))
ax1.set_yticklabels(iris.feature_names)
ax1.set_title('Adaboosting Feature Importance')

ax2.barh(range(4), rf.feature_importances_, align='center')
ax2.set_yticks(range(4))
ax2.set_yticklabels(iris.feature_names)
ax2.set_title('Random Forest Feature Importance')

plt.tight_layout()
plt.show()

Adaboosting：

# 通过 class_weight 参数调整
from sklearn.utils.class_weight import compute_sample_weight
sample_weights = compute_sample_weight('balanced', y_train)
ada.fit(X_train, y_train, sample_weight=sample_weights)

随机森林 ：

# 使用 OOB 评估避免额外验证集
rf = RandomForestClassifier(oob_score=True, class_weight='balanced')
print(f"OOB Score: {rf.oob_score_:.3f}")

内存优化 ：
Adaboosting：降低 n_estimators 并增加 learning_rate
随机森林：设置 max_samples 参数限制每棵树的数据量

并行计算 ：

# 设置 n_jobs 参数利用多核
rf = RandomForestClassifier(n_jobs=-1)  # 使用所有 CPU 核心

陷阱一：对高维稀疏数据直接使用 Adaboosting
问题：Adaboosting 会过度关注稀有特征
解决：先进行特征选择或使用随机森林
陷阱二：忽视随机森林的 OOB 评估
问题：浪费内置的交叉验证机制
解决：始终设置 oob_score=True 监控模型表现
陷阱三：过早停止 Adaboosting 训练
问题：可能错过后期的关键迭代

解决：使用 early_stopping 验证而非固定迭代次数

from sklearn.ensemble import AdaBoostClassifier
from sklearn.model_selection import StratifiedKFold

cv = StratifiedKFold(n_splits=5)
ada = AdaBoostClassifier(
    n_estimators=1000,
    learning_rate=0.1,
    validation_fraction=0.2,
    n_iter_no_change=20
)

当特征间存在高度相关性时，哪种方法的表现会更稳定？为什么？

（提示：考虑随机森林的特征子采样策略与 Adaboosting 的权重更新机制对相关特征的敏感度差异）

正文完