随机森林算法原理解析：如何通过集成学习有效防止过拟合

1次阅读

共计 3882 个字符，预计需要花费 10 分钟才能阅读完成。

在机器学习中，决策树是一种直观且易于理解的模型，但它有一个致命的缺点：容易过拟合。单棵决策树会不断细分数据，直到每个叶子节点只包含一个样本或所有样本属于同一类别。这种极端情况在训练集上表现完美，但在测试集上往往表现糟糕，因为模型记住了训练数据的噪声和细节，而非学习到泛化规律。

过拟合的本质是模型复杂度过高，方差过大。我们需要一种方法，既能保留决策树的优点，又能降低方差，提高泛化能力。这就是随机森林算法的出发点。

集成学习是解决过拟合的有效方法之一，主要有两种策略：Bagging 和 Boosting。

Bagging（Bootstrap Aggregating）：并行训练多个基学习器，通过投票或平均得到最终预测。核心思想是 ” 人多力量大 ”，每个基学习器看到的数据略有不同，从而降低整体方差。
Boosting：串行训练多个弱学习器，每个新学习器都尝试修正前一个的错误。核心思想是 ” 持续改进 ”，通过不断调整样本权重来降低偏差。

随机森林属于 Bagging 流派，与 Boosting 相比有两个明显优势：

并行训练：各个决策树可以独立训练，非常适合分布式计算
鲁棒性：对噪声和异常值不敏感，不容易过拟合

Bagging 的核心是自助采样（Bootstrap Sampling）：从原始训练集中有放回地随机抽取 n 个样本，形成一个新的训练集。这个过程重复进行，生成多个不同的训练子集。

数学上，Bagging 通过平均多个模型的预测来降低整体方差。假设我们有 k 个基模型，每个模型的方差为 $\sigma^2$，两两之间的相关系数为 $\rho$，则集成模型的方差为：

$$
\text{Var}(\frac{1}{k}\sum_{i=1}^k f_i) = \rho\sigma^2 + \frac{1-\rho}{k}\sigma^2
$$

当 k 增大时，第二项趋近于 0，整体方差主要取决于 $\rho$。这就是为什么随机森林不仅要使用 Bagging，还要引入特征随机选择——降低树与树之间的相关性。

在构建每棵决策树的每个节点时，随机森林不是考虑所有特征，而是从全部特征中随机选取一个子集（通常取 $\sqrt{p}$ 或 $\log_2(p)$，其中 p 是总特征数），然后从这个子集中选择最优分裂特征。

特征重要性可以通过计算该特征在所有树中带来的不纯度减少的平均值来评估：

$$
\text{Importance}(j) = \frac{1}{N} \sum_{T} \sum_{t \in T: \text{split}(t)=j} p(t)\Delta i(t)
$$

其中 $N$ 是树的总数，$p(t)$ 是到达节点 t 的样本比例，$\Delta i(t)$ 是分裂带来的不纯度减少量。

多棵树的决策边界融合过程可以通过可视化来理解。想象一个二维特征空间：

单棵决策树：生成的是与坐标轴平行的矩形决策边界，通常非常锯齿状
随机森林：通过平均多棵树的预测，决策边界变得平滑，更接近真实的分类边界

这种融合有效 ” 平均 ” 掉了单棵树的过拟合倾向，产生了更稳健的决策边界。

下面展示如何使用 Python 的 scikit-learn 库实现一个具备抗过拟合能力的随机森林分类器：

from sklearn.ensemble import RandomForestClassifier
from sklearn.datasets import make_classification
from sklearn.model_selection import train_test_split
import matplotlib.pyplot as plt

# 生成模拟数据
X, y = make_classification(n_samples=1000, n_features=20, n_informative=10, 
                          n_redundant=5, random_state=42)
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=42)

# 初始化随机森林
rf = RandomForestClassifier(
    n_estimators=100,       # 树的数量
    max_features='sqrt',    # 每棵树考虑的特征数
    max_depth=5,            # 控制树的深度
    min_samples_leaf=10,    # 叶节点最小样本数
    random_state=42,
    n_jobs=-1               # 使用所有 CPU 核心
)

# 训练模型
rf.fit(X_train, y_train)

# 评估
print(f"Train accuracy: {rf.score(X_train, y_train):.3f}")
print(f"Test accuracy: {rf.score(X_test, y_test):.3f}")

# 特征重要性
importances = rf.feature_importances_
plt.bar(range(X.shape[1]), importances)
plt.xlabel("Feature index")
plt.ylabel("Feature importance")
plt.show()

n_estimators：树的数量。通常越大越好，但计算成本也越高。一般从 100 开始尝试。
max_features：每棵树考虑的最大特征数。较小的值可以增加树之间的差异性，防止过拟合。常用 'sqrt' 或'log2'。
max_depth：树的最大深度。限制深度可以防止过拟合。可以通过交叉验证选择。
min_samples_leaf：叶节点最少样本数。较大的值可以平滑模型，防止过拟合。

我们可以通过绘制学习曲线来观察随机森林如何控制过拟合：

from sklearn.model_selection import learning_curve
import numpy as np

train_sizes, train_scores, test_scores = learning_curve(
    rf, X, y, cv=5, n_jobs=-1,
    train_sizes=np.linspace(0.1, 1.0, 10)
)

train_mean = np.mean(train_scores, axis=1)
train_std = np.std(train_scores, axis=1)
test_mean = np.mean(test_scores, axis=1)
test_std = np.std(test_scores, axis=1)

plt.plot(train_sizes, train_mean, label="Training score")
plt.plot(train_sizes, test_mean, label="Cross-validation score")
plt.fill_between(train_sizes, train_mean - train_std, train_mean + train_std, alpha=0.1)
plt.fill_between(train_sizes, test_mean - test_std, test_mean + test_std, alpha=0.1)
plt.legend()
plt.xlabel("Training examples")
plt.ylabel("Score")
plt.show()

理想的随机森林学习曲线应该显示：