随机森林回归实战：从原理到调优的完整指南

1次阅读

共计 2400 个字符，预计需要花费 6 分钟才能阅读完成。

传统线性回归在高维非线性数据中常面临两个核心问题：

特征交互困境：当特征间存在复杂交互关系时，手工构造多项式特征的工作量呈指数级增长。例如房价预测中，房屋面积与学区等级的联合影响难以用线性组合表达
噪声敏感度：对离群值的鲁棒性较差，一个异常点可能导致整个模型参数发生显著偏移

随机森林通过集成多棵决策树，天然具备以下优势：

自动捕捉非线性关系和特征交互
通过多数投票 / 平均机制降低方差
内置特征选择降低噪声影响

方法	基模型数量	特征使用方式	多样性来源
单决策树	1	全部特征	数据采样（如有）
Bagging	N	全部特征	自助采样(Bootstrap)
随机森林	N	随机子集(mtry 参数)	数据 + 特征双重随机

数学意义：特征随机性通过限制单棵树每次分裂时的候选特征数量（通常取 $\sqrt{p}$ 或 $p/3$），强制产生差异性更大的树，从而提升集成的泛化能力。

# 环境准备
from sklearn.ensemble import RandomForestRegressor
from sklearn.datasets import fetch_california_housing
from sklearn.model_selection import train_test_split
import matplotlib.pyplot as plt
import numpy as np

# 数据加载与预处理
housing = fetch_california_housing()
X, y = housing.data, housing.target
feature_names = housing.feature_names

# 标准化不是必须的，但有助于特征重要性解释
from sklearn.preprocessing import StandardScaler
scaler = StandardScaler()
X_scaled = scaler.fit_transform(X)

# 数据集划分
X_train, X_test, y_train, y_test = train_test_split(X_scaled, y, test_size=0.2, random_state=42)

# 基础模型训练
rf = RandomForestRegressor(
    n_estimators=100,
    max_features='auto',  # 默认 sqrt(n_features)
    random_state=42,
    oob_score=True  # 启用 OOB 评估
)
rf.fit(X_train, y_train)

# 特征重要性可视化
importances = rf.feature_importances_
indices = np.argsort(importances)[::-1]

plt.figure(figsize=(10, 6))
plt.title("Feature Importances")
plt.bar(range(X.shape[1]), importances[indices], align="center")
plt.xticks(range(X.shape[1]), [feature_names[i] for i in indices], rotation=90)
plt.xlim([-1, X.shape[1]])
plt.tight_layout()
plt.show()

现象：当 max_depth 过大时，训练误差持续下降但验证误差开始上升
解决方案：
使用早停法限制生长：设置 min_samples_leaf=5 等参数
监控 OOB 误差变化：

oob_errors = []
for depth in range(1, 15):
    model = RandomForestRegressor(
        max_depth=depth,
        n_estimators=50,
        oob_score=True,
        random_state=42
    )
    model.fit(X_train, y_train)
    oob_errors.append(1 - model.oob_score_)

plt.plot(range(1,15), oob_errors)
plt.xlabel("Max Depth")
plt.ylabel("OOB Error")

Out-of-Bag 误差的计算过程：

对每棵树，约 37% 样本未被选中（$\lim_{n\to\infty}(1-1/n)^n = 1/e$）
这些样本作为该树的天然验证集
最终 OOB 误差是所有样本在其未被使用的树上的预测误差均值

# 使用所有 CPU 核心
rf = RandomForestRegressor(n_jobs=-1)  

# 分批次处理大数据
rf.set_params(warm_start=True)  # 增量训练
for i in range(10):
    rf.n_estimators += 10
    rf.fit(X_train, y_train)