为什么CART和随机森林分类结果一模一样？深入解析与解决方案

1次阅读

共计 1858 个字符，预计需要花费 5 分钟才能阅读完成。

在实际项目中，当开发者同时使用 CART 决策树和随机森林进行分类任务时，偶尔会遇到两者的预测结果完全一致的情况。这种现象初看似乎说明模型效果稳定，但实际上违背了随机森林的设计初衷——通过集成多棵差异性决策树来提升泛化能力。如果随机森林的表现和单棵决策树相同，意味着我们付出了更高的计算成本，却没有获得集成学习应有的优势。

CART（Classification and Regression Trees）是一种基于贪心算法构建的决策树，通过递归选择最优特征进行节点分裂。而随机森林通过以下两种随机性来增强多样性：

样本随机性：对训练数据进行有放回抽样（bootstrap）
特征随机性：每个节点分裂时只考虑特征子集（通常为 sqrt(n_features)）

数据特征问题
特征数量过少（如只有 1 - 2 个有效特征）
存在支配性特征（某个特征的区分度过高）
参数配置问题
max_features 参数设置过大（等于总特征数时退化为 Bagging）
n_estimators 设置过小（如只使用 1 棵树）
random_state 固定导致失去随机性
数据分布问题
类别完全线性可分
样本量过小导致 bootstrap 采样重复率高

# 检查特征重要性差异
from sklearn.ensemble import RandomForestClassifier

rf = RandomForestClassifier(n_estimators=100)
rf.fit(X_train, y_train)

# 如果特征重要性高度集中
import matplotlib.pyplot as plt
plt.bar(range(len(rf.feature_importances_)), rf.feature_importances_)
plt.show()

# 解决方案：增加特征多样性
# 方法 1：特征交叉
X_train['new_feature'] = X_train['feat1'] * X_train['feat2']

# 方法 2：离散化连续特征
X_train['feat_bin'] = pd.cut(X_train['feat'], bins=5)

# 正确参数配置示例
params = {
    'n_estimators': 200,  # 树的数量
    'max_features': 'auto',  # 通常设为 sqrt(n_features)
    'max_depth': None,  # 不限制深度以保持差异
    'min_samples_split': 2,  # 较小的值增加多样性
    'bootstrap': True,  # 必须开启 bootstrap
    'random_state': None  # 生产环境不建议固定
}

# 网格搜索示例
from sklearn.model_selection import GridSearchCV

param_grid = {'max_features': ['sqrt', 'log2', 0.3],
    'min_samples_leaf': [1, 3, 5]
}

grid_search = GridSearchCV(RandomForestClassifier(), param_grid, cv=5)
grid_search.fit(X_train, y_train)

# 检查树之间的差异度
from sklearn.metrics import pairwise_distances

all_trees = [tree.predict_proba(X_test) for tree in rf.estimators_]
distance_matrix = pairwise_distances(all_trees, metric='euclidean')
print("平均树间差异:", distance_matrix.mean())

# 期望看到较大的平均差异值（>0.3）