集成学习实战：随机森林如何通过Bagging和随机特征选择降低过拟合风险

1次阅读

没有评论

共计 2130 个字符，预计需要花费 6 分钟才能阅读完成。

在机器学习中，过拟合是一个常见且棘手的问题。过拟合指的是模型在训练数据上表现很好，但在新数据上表现不佳的现象。这种现象通常发生在模型过于复杂，或者训练数据量不足的情况下。过拟合会导致模型泛化能力下降，影响实际应用效果。

决策树是一种容易过拟合的模型，尤其是当树的深度较大时。虽然决策树简单直观，但其对训练数据的微小变化非常敏感，容易生成过于复杂的树结构，从而在测试数据上表现不佳。

单一决策树和随机森林在过拟合问题上的表现有明显差异。单一决策树容易过拟合，因为它会不断分裂节点，直到所有训练样本都被正确分类。而随机森林通过集成多个决策树，并结合 Bagging 和随机特征选择技术，有效降低了过拟合风险。

单一决策树：
优点：简单直观，易于解释。
缺点：对训练数据敏感，容易过拟合。
随机森林：
优点：通过集成多个决策树，降低过拟合风险，提高泛化能力。
缺点：模型复杂度较高，计算资源消耗较大。

Bagging（Bootstrap Aggregating）是一种通过自助采样生成多个训练集的集成方法。在随机森林中，Bagging 用于生成多个不同的决策树。具体步骤如下：

从原始训练集中有放回地随机抽取样本，生成一个新的训练集。
用这个新的训练集训练一个决策树。
重复上述过程多次，生成多个决策树。
对于分类任务，最终的预测结果是所有决策树预测结果的众数；对于回归任务，则是所有决策树预测结果的平均值。

通过 Bagging，随机森林能够减少模型方差，从而降低过拟合风险。

在随机森林中，每个决策树在分裂节点时，并不是考虑所有特征，而是随机选择一部分特征进行分裂。这一过程称为随机特征选择。具体步骤如下：

对于每个决策树的每个节点，随机选择一部分特征（通常为特征总数的平方根）。
在这些随机选择的特征中，选择最优的分裂点。
重复上述过程，直到树达到最大深度或满足其他停止条件。

随机特征选择进一步增加了模型的多样性，减少了过拟合的可能性。

以下是一个使用 Scikit-learn 实现随机森林的 Python 代码示例：

from sklearn.ensemble import RandomForestClassifier
from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split
from sklearn.metrics import accuracy_score

# 加载数据集
iris = load_iris()
X, y = iris.data, iris.target

# 划分训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=42)

# 初始化随机森林分类器
# n_estimators: 决策树的数量
# max_features: 每次分裂时考虑的特征数量
# random_state: 随机种子，确保结果可复现
rf = RandomForestClassifier(n_estimators=100, max_features='sqrt', random_state=42)

# 训练模型
rf.fit(X_train, y_train)

# 预测测试集
y_pred = rf.predict(X_test)

# 计算准确率
accuracy = accuracy_score(y_test, y_pred)
print(f'模型准确率: {accuracy:.2f}')