随机森林算法原理解析：如何通过集成学习有效防止过拟合

1次阅读

共计 3356 个字符，预计需要花费 9 分钟才能阅读完成。

过拟合是机器学习模型开发中的常见问题，表现为模型在训练集上表现优异，但在测试集或实际应用中表现不佳。这种现象通常由于模型过于复杂，记住了训练数据中的噪声和细节，而非学习到数据的真实规律。单棵决策树尤其容易过拟合，因为它们可以通过不断分裂节点来完美拟合训练数据。

集成学习方法如随机森林通过组合多个弱学习器（这里是决策树）来解决过拟合问题。随机森林不仅继承了决策树的优点，如处理非线性关系和特征交互的能力，还通过两种关键机制显著提高了泛化能力：Bagging 和随机特征选择。

Bagging（Bootstrap Aggregating）是随机森林的核心思想之一。其基本流程如下：

从原始训练集中使用 Bootstrap 方法（有放回随机抽样）生成多个子样本集
在每个子样本集上训练一个决策树
对所有决策树的预测结果进行投票（分类）或平均（回归）

数学上，Bootstrap 采样可以表示为：

对于 i = 1 到 B（B 为树的数量）:
    从原始数据集 D 中随机抽取 n 个样本（允许重复）形成子集 Di
    在 Di 上训练决策树 Ti

这种采样方式保证了每棵树训练数据的多样性，是防止过拟合的第一道防线。

在传统决策树中，每个节点分裂时考虑所有特征。而随机森林在每棵树的每个节点分裂时，只考虑随机选择的一部分特征（通常是特征总数的平方根）。伪代码如下：

function 构建树(数据 D, 特征集合 F):
    如果满足停止条件:
        返回叶子节点
    否则:
        从 F 中随机选择 k 个特征（k=sqrt(|F|)）找出这 k 个特征中的最佳分裂点
        根据分裂点将 D 分为 D_left 和 D_right
        左子树 = 构建树(D_left, F)
        右子树 = 构建树(D_right, F)
        返回分裂节点

这种随机性进一步增强了模型的鲁棒性，因为不同的树会关注数据的不同方面。

随机森林通过平均多个决策树的预测来降低方差。从统计学习理论来看，模型的泛化误差可以分解为偏差、方差和噪声。决策树是高方差模型，而随机森林通过以下方式降低方差：

各棵树之间因随机采样而相关性降低
预测结果的方差 Var(1/B ΣT_i) = 1/B Var(T) + (1-1/B)ρσ²
当 B 增大时，第一项趋近于 0，整体方差由第二项中的树间相关性 ρ 决定

通过保持低相关性（ρ 小），随机森林能有效降低整体方差。

下面展示使用 scikit-learn 实现随机森林的完整流程：

from sklearn.ensemble import RandomForestClassifier
from sklearn.datasets import load_breast_cancer
from sklearn.model_selection import train_test_split
import matplotlib.pyplot as plt

# 加载数据
data = load_breast_cancer()
X, y = data.data, data.target
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=42)

# 训练随机森林
rf = RandomForestClassifier(
    n_estimators=100,   # 树的数量
    max_depth=5,        # 控制单棵树复杂度
    max_features='sqrt', # 每节点考虑的特征数
    random_state=42
)
rf.fit(X_train, y_train)

# 评估
print(f"训练集准确率: {rf.score(X_train, y_train):.3f}")
print(f"测试集准确率: {rf.score(X_test, y_test):.3f}")

# 特征重要性
importances = rf.feature_importances_
indices = importances.argsort()[::-1]
plt.figure(figsize=(10,6))
plt.title("特征重要性")
plt.bar(range(X.shape[1]), importances[indices], align='center')
plt.xticks(range(X.shape[1]), data.feature_names[indices], rotation=90)
plt.tight_layout()
plt.show()

在同一数据集上比较单棵决策树与随机森林的表现：

from sklearn.tree import DecisionTreeClassifier

dtree = DecisionTreeClassifier(max_depth=5, random_state=42)
dtree.fit(X_train, y_train)

print("单棵决策树:")
print(f"训练集准确率: {dtree.score(X_train, y_train):.3f}")
print(f"测试集准确率: {dtree.score(X_test, y_test):.3f}")

print("随机森林:")
print(f"训练集准确率: {rf.score(X_train, y_train):.3f}")
print(f"测试集准确率: {rf.score(X_test, y_test):.3f}")

典型输出可能显示：
– 单棵决策树：训练集 0.98，测试集 0.92
– 随机森林：训练集 0.96，测试集 0.95

这表明随机森林在测试集上有更好的泛化能力。

观察树数量 (n_estimators) 对模型性能的影响：

from sklearn.model_selection import validation_curve
import numpy as np

param_range = np.arange(1, 200, 10)
train_scores, test_scores = validation_curve(RandomForestClassifier(max_depth=5, random_state=42),
    X, y, param_name="n_estimators", param_range=param_range,
    cv=5, scoring="accuracy"
)

plt.figure(figsize=(10,6))
plt.plot(param_range, np.mean(train_scores, axis=1), label="训练集")
plt.plot(param_range, np.mean(test_scores, axis=1), label="验证集")
plt.xlabel("树的数量")
plt.ylabel("准确率")
plt.legend()
plt.show()

通常可以看到，随着树数量增加，验证集准确率会先快速提升后趋于平稳。