Bagging与随机森林原理剖析：如何解决机器学习中的过拟合问题

1次阅读

没有评论

共计 3106 个字符，预计需要花费 8 分钟才能阅读完成。

在机器学习领域，过拟合问题一直是困扰开发者的难题之一。特别是使用决策树这类模型时，很容易出现模型在训练集上表现优异，但在测试集上表现不佳的情况。本文将深入探讨如何通过 Bagging 和随机森林技术有效解决这一问题。

决策树是一种简单直观的机器学习算法，它通过一系列 if-then 规则对数据进行分类或回归。然而，正是这种特性导致了它容易过拟合：

决策树会不断分裂节点，直到所有训练样本都被完美分类
对训练数据中的噪声和异常值过于敏感
容易捕捉到训练数据中的特定模式而非普遍规律

集成学习是解决过拟合的有效方法，其中主要有两种思路：Bagging 和 Boosting。

Bagging (Bootstrap Aggregating)：
通过有放回抽样构建多个训练子集
并行训练多个基学习器
最终结果通过投票或平均得到
主要减少方差，适合高方差低偏差模型
Boosting：
顺序训练基学习器，每个学习器关注前一个的误差
通过加权组合各学习器结果
主要减少偏差，适合低方差高偏差模型

随机森林是 Bagging 思想的典型代表，它在普通 Bagging 基础上增加了特征随机性，进一步提升了模型多样性。

随机森林使用 Bootstrap 方法构建训练子集：

从原始训练集中有放回地抽取 n 个样本
未被抽中的样本称为 ”Out-of-Bag”(OOB)样本
用 OOB 样本评估单个决策树的性能
最终 OOB 误差是所有树 OOB 误差的平均

数学上，单个样本不被选中的概率为：(1-1/n)^n ≈ 1/e ≈ 0.368，因此每个基学习器大约使用 63.2% 的原始数据。

在构建决策树的每个节点时，随机森林不是考虑所有特征，而是：

从全部 p 个特征中随机选择 k 个(k 通常取√p)
从这 k 个特征中选择最优分裂特征
这种随机性进一步增加了模型的多样性

伪代码表示特征选择过程：

def select_features(all_features, k):
    return random.sample(all_features, k)

下面展示如何使用 sklearn 实现完整的随机森林流程：

from sklearn.ensemble import RandomForestClassifier
from sklearn.datasets import make_classification
from sklearn.model_selection import train_test_split
import matplotlib.pyplot as plt
import numpy as np

# 生成模拟数据
X, y = make_classification(n_samples=1000, n_features=20, n_informative=15, random_state=42)
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=42)

# 初始化随机森林模型
# 关键参数说明：# n_estimators: 树的数量
# max_depth: 树的最大深度
# max_features: 每节点考虑的特征数（auto=sqrt(n_features)）# oob_score: 是否使用 OOB 样本评估
rf = RandomForestClassifier(
    n_estimators=100,
    max_depth=10,
    max_features='auto',
    oob_score=True,
    random_state=42,
    n_jobs=-1  # 使用所有 CPU 核心
)

# 训练模型
rf.fit(X_train, y_train)

# 评估模型
print(f"Train accuracy: {rf.score(X_train, y_train):.4f}")
print(f"Test accuracy: {rf.score(X_test, y_test):.4f}")
print(f"OOB score: {rf.oob_score_:.4f}")

# 特征重要性可视化
importances = rf.feature_importances_
indices = np.argsort(importances)[::-1]

plt.figure(figsize=(10, 6))
plt.title("Feature Importance")
plt.bar(range(X.shape[1]), importances[indices], align="center")
plt.xticks(range(X.shape[1]), indices)
plt.xlim([-1, X.shape[1]])
plt.tight_layout()
plt.show()

随机森林天然适合并行化，因为各树独立训练：

设置 n_jobs=-1 使用所有 CPU 核心
大数据集可考虑使用 dask-ml 或spark实现分布式训练
注意内存消耗，特别是树深度较大时

当目标变量类别分布不均时：

使用 class_weight='balanced' 参数自动调整类别权重
对少数类进行上采样或多数类下采样
考虑使用 BalancedRandomForestClassifier 等专门实现

虽然随机森林比单一决策树难解释，但可以：

使用特征重要性排序
计算 SHAP 值解释单个预测
提取代表性决策路径

import shap

# 计算 SHAP 值
explainer = shap.TreeExplainer(rf)
shap_values = explainer.shap_values(X_test)

# 可视化单个样本的解释
shap.initjs()
shap.force_plot(explainer.expected_value[1], shap_values[1][0,:], X_test[0,:])

随机森林在时间和空间复杂度上需要权衡：