随机森林算法核心思想解析：从决策树到集成学习的实战指南

1次阅读

共计 2423 个字符，预计需要花费 7 分钟才能阅读完成。

决策树是机器学习中最直观的算法之一，它通过一系列 if-then 规则对数据进行分类或回归。但单独使用决策树时会面临两个主要问题：

高方差（过拟合）：对训练数据微小变化敏感，容易生成复杂的树结构
不稳定性：数据扰动可能导致完全不同的树形结构

举个例子，我们尝试用单棵决策树预测房价：

from sklearn.tree import DecisionTreeRegressor
# 当 max_depth 设置过大时...
tree = DecisionTreeRegressor(max_depth=20)
tree.fit(X_train, y_train)  # 训练集准确率 100%，测试集只有 60%

这时候就需要 集成学习（Ensemble Learning）的思想——通过组合多个弱模型来构建强模型。随机森林正是这种思想的经典实现。

Bagging（Bootstrap Aggregating）是随机森林的基础框架，其工作流程如下：

自助采样：从原始数据集中有放回地随机抽取 n 个样本（一个 bootstrap 样本集）
并行训练：用每个样本集独立训练一个决策树
集体决策：所有树的预测结果通过投票（分类）或平均（回归）产生最终结果

数学表达为：
$$ \hat{f}{bag}(x) = \frac{1}{B}\sum^B f_b(x) $$

其中 B 是树的总数量。这个过程就像多个专家独立判断后投票，比单个人决策更可靠。

单纯 Bagging 的树之间仍然可能高度相关。随机森林增加了 特征随机性：

每棵树分裂节点时，只从随机选取的 m 个特征中选择最优分裂
典型取值：m = sqrt(总特征数)（分类问题）或 m = 总特征数 /3（回归问题）

这种 ” 限制视野 ” 的做法看似反直觉，实则迫使各树关注数据的不同方面，增强模型多样性。

对于分类任务，采用 多数表决：

from collections import Counter

def predict(X):
    all_preds = [tree.predict(X) for tree in forest]
    return [Counter(preds).most_common(1)[0][0] for preds in zip(*all_preds)]

回归任务则直接取平均值，这种机制对异常预测具有天然鲁棒性。

通过平均多个高方差模型（决策树）获得低方差模型
双重随机性（数据采样 + 特征采样）抑制过拟合
即使单棵树完全过拟合，森林整体仍保持良好泛化

特征选择过程自动发生，无关特征很难被多次选中
不需要手动特征筛选即可处理成百上千的特征

基于两种度量方式：

平均不纯度减少：计算每个特征在所有树中分裂时带来的不纯度减少均值
排列重要性：随机打乱特征值后观察准确率下降程度

# sklearn 中的获取方法
from sklearn.ensemble import RandomForestClassifier

rf = RandomForestClassifier()
rf.fit(X, y)
importances = rf.feature_importances_

以经典的鸢尾花数据集为例：

# 数据准备
from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split

iris = load_iris()
X, y = iris.data, iris.target
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2)

# 模型训练
from sklearn.ensemble import RandomForestClassifier

rf = RandomForestClassifier(
    n_estimators=100,  # 树的数量
    max_depth=3,       # 控制单树复杂度
    max_features='auto',  # 自动选择特征数
    random_state=42    # 确保可复现性
)
rf.fit(X_train, y_train)

# 模型评估
from sklearn.metrics import accuracy_score

preds = rf.predict(X_test)
print(f"Accuracy: {accuracy_score(y_test, preds):.2f}")

# 特征重要性可视化
import matplotlib.pyplot as plt

plt.barh(iris.feature_names, rf.feature_importances_)
plt.title("Feature Importance")
plt.show()