Bagging与随机森林：从基础原理到实战避坑指南

1次阅读

没有评论

共计 2390 个字符，预计需要花费 6 分钟才能阅读完成。

刚开始接触机器学习时，很多人会从决策树（Decision Tree）入手——它直观易懂，甚至不需要数学基础就能理解。但实际应用中，你会发现单棵决策树存在两个致命问题：

对噪声数据敏感：训练数据中的微小变化可能导致生成完全不同的树结构
容易过拟合：特别是当特征之间存在高度相关性时，树会不断分裂直到完美拟合训练集

举个真实案例：我曾用单棵决策树预测房价，模型在训练集上表现近乎完美（R²=0.99），但在测试集上却惨不忍睹（R²=0.3）。这就是典型的 ” 记住答案 ” 而非 ” 学会规律 ”。

Bagging（Bootstrap Aggregating 的缩写）的核心思想很简单：

通过有放回抽样生成多个训练子集（Bootstrap 样本）
为每个子集训练一个基模型
对预测结果进行投票或平均

数学上可以证明，若各基模型独立且方差均为 σ²，则 Bagging 的方差为：

Var(1/nΣX_i) = σ²/n

这意味着模型的方差随基模型数量 n 的增加而线性降低！

随机森林（Random Forest）在 Bagging 基础上增加了特征随机性：

每棵树分裂时，仅考虑随机选取的特征子集（通常取√p，p 为总特征数）
进一步降低树之间的相关性，增强模型多样性

这种设计带来三大优势：

更好的泛化能力
天然的特征重要性评估
支持 Out-of-Bag（OOB）误差估计

# 数据准备
from sklearn.datasets import load_breast_cancer
from sklearn.model_selection import train_test_split

# 加载乳腺癌数据集（良性 / 恶性分类）data = load_breast_cancer()
X, y = data.data, data.target

# 划分训练测试集（注意 stratify 保持类别比例）X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, stratify=y, random_state=42)

# 构建随机森林
from sklearn.ensemble import RandomForestClassifier

# 关键参数说明：# n_estimators：树的数量（建议 100-500）# max_features：特征子集大小（auto 表示√p）# oob_score：启用 OOB 评估
rf = RandomForestClassifier(
    n_estimators=200,
    max_features='auto',
    oob_score=True,
    random_state=42,
    n_jobs=-1  # 使用所有 CPU 核心
)
rf.fit(X_train, y_train)

# 评估性能
print(f"OOB Score: {rf.oob_score_:.3f}")
print(f"Test Accuracy: {rf.score(X_test, y_test):.3f}")

当数据集很大时，可以启用 warm_start 增量训练：

# 分批次增加树的数量
rf.set_params(warm_start=True)
for i in range(50, 501, 50):
    rf.set_params(n_estimators=i)
    rf.fit(X_train, y_train)
    print(f"Trees: {i}, OOB: {rf.oob_score_:.4f}")

遇到高基数类别特征（如邮政编码）时：

这类特征往往获得虚高的重要性评分
解决方案：改用置换重要性（permutation importance）

from sklearn.inspection import permutation_importance

result = permutation_importance(rf, X_test, y_test, n_repeats=10, random_state=42)
sorted_idx = result.importances_mean.argsort()

过拟合预防：
监控 OOB 分数随树数量变化的曲线
设置min_samples_leaf（叶节点最小样本数）
并行化权衡：
n_jobs=-1虽能利用所有 CPU 核心
但要注意 CPU 缓存命中率下降可能反而降低速度
类别不平衡处理：
使用class_weight='balanced'
或调整 sample_weight 参数

用 GridSearchCV 优化乳腺癌数据集预测：

from sklearn.model_selection import GridSearchCV

param_grid = {'n_estimators': [100, 200, 300],
    'max_depth': [5, 10, None],
    'min_samples_split': [2, 5, 10]
}

grid = GridSearchCV(RandomForestClassifier(random_state=42),
    param_grid,
    cv=5,
    scoring='roc_auc'
)
grid.fit(X_train, y_train)

print(f"Best AUC: {grid.best_score_:.3f}")
print(f"Best Params: {grid.best_params_}")

随机森林是我最推荐机器学习新手掌握的算法之一——它开箱即用、对数据要求低，且能提供不错的基线性能。但要注意：