Bagging与随机森林实战：如何解决高维数据过拟合问题

1次阅读

没有评论

共计 2176 个字符，预计需要花费 6 分钟才能阅读完成。

在处理高维数据时，传统决策树算法容易陷入过拟合的泥潭。具体表现为：

树结构会不断分裂直到所有叶节点纯度达到 100%，导致模型捕获了过多噪声
对训练数据微小变化极其敏感（高方差），测试集表现波动大
当特征维度 p 远大于样本量 n 时，每次分裂选择的特征可能只是噪声信号

举个真实案例：在基因表达数据（通常 5000+ 基因维度）中，单决策树的测试准确率往往比训练集低 30% 以上。

集成学习通过组合多个基学习器来提升泛化能力，主流方法分为两大流派：

Bagging（Bootstrap Aggregating）
通过有放回抽样生成多个训练子集
各基模型独立训练后投票 / 平均
主要降低方差，适合高方差模型
Boosting
基模型顺序训练，后续模型聚焦前序错误样本
通过加权组合弱学习器
主要降低偏差，适合高偏差模型

随机森林在 Bagging 基础上增加了 特征随机性——每次分裂时仅考虑特征子集（通常√p 个）。这种双重随机性带来三大优势：

进一步降低模型间相关性
提升特征利用率（弱势特征也有机会参与建模）
天然支持并行化训练

from sklearn.ensemble import RandomForestClassifier
from sklearn.datasets import make_classification

# 生成高维模拟数据（1000 特征, 100 样本）X, y = make_classification(n_samples=100, n_features=1000, 
                          n_informative=50, random_state=42)

# 初始化模型（启用 OOB 评估）model = RandomForestClassifier(
    n_estimators=200,
    max_features='sqrt',  # 默认√p 特征
    oob_score=True,       # 启用 OOB 评估
    n_jobs=-1,            # 使用所有 CPU 核心
    random_state=42
)
model.fit(X, y)

print(f'OOB 准确率: {model.oob_score_:.3f}')

import matplotlib.pyplot as plt
import numpy as np

# 获取重要性并排序
importances = model.feature_importances_
indices = np.argsort(importances)[-20:]  # 取 Top20

# 绘制水平条形图
plt.figure(figsize=(10,6))
plt.title('Top 20 Important Features')
plt.barh(range(20), importances[indices], 
        color='skyblue', align='center')
plt.yticks(range(20), indices)
plt.xlabel('Gini Importance')
plt.tight_layout()
plt.show()

Out-of-Bag 误差是 Bagging 技术的天然验证指标：

对于每棵树，约有 37% 样本未被选中（bootstrap 抽样）
这些样本称为该树的 OOB 样本
所有树的 OOB 样本构成自助验证集

计算过程自动进行，通过 oob_score_ 属性即可获取。相比交叉验证：

无需额外划分验证集
更高效（特别是大数据场景）
可作为早停策略依据

建议按此顺序调整：

n_estimators：增加树的数量（通常 200-500 足够）
max_depth：控制过拟合，从 None 开始逐步限制
min_samples_split：节点最小分裂样本数（默认 2）
max_features：特征子集大小（分类常用√p，回归 p /3）

使用 sparse 矩阵格式存储高维稀疏数据
设置 warm_start=True 增量训练
降低 n_estimators 并配合 class_weight 平衡类别

# 分布式计算示例（使用 Dask）from dask_ml.ensemble import RandomForestClassifier

distributed_model = RandomForestClassifier(
    n_estimators=500,
    n_jobs=-1,
    scheduler='threads'  # 或 'distributed'
)