Bagging与随机森林：从理论到实战的机器学习集成学习指南

1次阅读

共计 2002 个字符，预计需要花费 6 分钟才能阅读完成。

在机器学习项目中，单个模型的预测能力往往有限，容易受到数据噪声影响或陷入过拟合。集成学习通过组合多个弱学习器来提升整体性能，其中 Bagging（Bootstrap Aggregating）是最经典的并行式集成方法之一。它由 Leo Breiman 于 1996 年提出，核心思想是通过对训练数据的有放回抽样生成多个子集，分别训练基学习器后聚合结果。

数据采样方式
Bagging：对原始数据集进行自助采样（Bootstrap），每个基学习器看到的数据分布不同
Boosting：根据前序模型的错误调整样本权重，后续模型更关注难样本
模型关系
Bagging：基学习器相互独立，可并行训练
Boosting：基学习器顺序生成，存在强依赖
结果聚合
Bagging：通常采用投票（分类）或平均（回归）
Boosting：加权求和，后期模型权重更高
抗过拟合
Bagging：通过降低方差改善过拟合
Boosting：可能因过度关注难样本导致过拟合

随机森林在 Bagging 基础上引入双重随机性：

数据层面
对原始训练集进行 Bootstrap 采样（约 63.2% 的样本被选中）
特征层面
每个节点分裂时，从全部特征中随机选择候选子集（通常取特征总数的平方根）
决策树构建
使用 CART 算法，基于基尼系数或信息增益选择最优分裂特征
不进行剪枝，让树完全生长
预测阶段
分类任务：所有树的预测结果投票决定最终类别
回归任务：取所有树预测值的平均值

from sklearn.ensemble import RandomForestClassifier
from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split

# 加载数据
iris = load_iris()
X, y = iris.data, iris.target

# 划分训练测试集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=42)

# 创建随机森林模型
# 关键参数说明：# n_estimators：树的数量（建议 100-500）# max_features：节点分裂时的候选特征数（auto 表示 sqrt(n_features)）# max_depth：树的最大深度（None 表示不限制）# min_samples_split：节点分裂所需最小样本数
rf = RandomForestClassifier(
    n_estimators=100,
    max_features='auto',
    max_depth=None,
    min_samples_split=2,
    random_state=42,
    n_jobs=-1  # 使用所有 CPU 核心
)

# 训练模型
rf.fit(X_train, y_train)

# 评估性能
print(f"训练集准确率: {rf.score(X_train, y_train):.3f}")
print(f"测试集准确率: {rf.score(X_test, y_test):.3f}")

# 特征重要性分析
importances = rf.feature_importances_
for name, score in zip(iris.feature_names, importances):
    print(f"{name}: {score:.3f}")