随机森林回归实战指南：从原理到调参避坑

1次阅读

没有评论

共计 2388 个字符，预计需要花费 6 分钟才能阅读完成。

在机器学习中，线性回归是最基础的模型之一，但它有一个致命弱点：只能捕捉线性关系。当数据中存在复杂的非线性关系或交互作用时（比如房价与地理位置、房间数的组合效应），线性模型往往会表现不佳。

随机森林通过集合多棵决策树的力量，能够自动发现这些复杂模式。举个实际例子：预测用户购买金额时，年龄和收入单独看可能是线性关系，但叠加会员等级后就会产生非线性效应——这正是随机森林的用武之地。

理解随机森林需要三步进阶：

单棵决策树：通过 if-else 规则分割数据，容易过拟合
Bagging：通过 Bootstrap 采样构建多棵树并求平均，降低方差
随机森林：在 Bagging 基础上增加特征随机性，进一步降低树间相关性

关键数学机制是特征子集采样：每棵树分裂节点时，从全部 $p$ 个特征中随机选取 $m$ 个候选特征（通常 $m=\sqrt{p}$）。这保证了树的多样性，用公式表达就是：

$$\text{FeatureSubset} = \text{RandomSample}(\text{Features}, m)$$

先看如何处理混合型数据（数值型 + 类别型）：

import pandas as pd
from sklearn.model_selection import train_test_split

# 示例数据：包含数值型特征和类别型特征
data = pd.DataFrame({'price': [500, 300, 700],  # 目标值
    'area': [80, 60, 100],     # 数值特征
    'district': ['A', 'B', 'A'] # 类别特征
})

# 处理类别特征
X = pd.get_dummies(data.drop('price', axis=1))
y = data['price']

# 划分训练测试集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2)

使用网格搜索找到最佳参数组合：

from sklearn.ensemble import RandomForestRegressor
from sklearn.model_selection import GridSearchCV

# 参数网格
param_grid = {'n_estimators': [50, 100, 200],
    'max_depth': [None, 5, 10],
    'min_samples_split': [2, 5, 10]
}

# 创建模型
rf = RandomForestRegressor(random_state=42)

# 网格搜索
grid_search = GridSearchCV(rf, param_grid, cv=5, scoring='neg_mean_squared_error')
grid_search.fit(X_train, y_train)

print(f"最佳参数: {grid_search.best_params_}")

避免直接使用默认的 Gini 重要性，改用更可靠的排列重要性：

from sklearn.inspection import permutation_importance

best_model = grid_search.best_estimator_

# 计算排列重要性
result = permutation_importance(best_model, X_test, y_test, n_repeats=10)

# 打印重要性
for i in result.importances_mean.argsort()[::-1]:
    print(f"{X.columns[i]}: {result.importances_mean[i]:.3f}")

OOB 分数陷阱：
OOB_score 是基于 Bootstrap 采样未包含的样本计算的，与测试集得分存在天然差异
当数据分布不均匀时，两者差距会更大
特征相关性误导：
当特征高度相关时，Gini 重要性会随机分散到相关特征上
解决方案：使用排列重要性或 SHAP 值
样本不平衡问题：
回归任务中目标值分布不均匀时，考虑设置 sample_weight 参数
内存爆炸风险：
树的数量 (n_estimators) 过多会导致内存不足
解决方案：使用 warm_start 参数增量训练
随机性控制：
务必设置 random_state 保证实验结果可复现

# 使用所有 CPU 核心
fast_model = RandomForestRegressor(n_estimators=200, n_jobs=-1)

# 内存不足时的替代方案
safe_model = RandomForestRegressor(
    n_estimators=50,
    max_depth=10,
    warm_start=True  # 支持增量训练
)
for _ in range(4):
    safe_model.fit(X_train, y_train)
    safe_model.n_estimators += 50