CART决策树实战：如何解决高维稀疏数据下的过拟合问题

1次阅读

共计 1762 个字符，预计需要花费 5 分钟才能阅读完成。

当 CART 决策树遇到高维稀疏数据时，常常会遇到两个核心问题：

维度灾难引发的过拟合：随着特征维度增加，树模型会倾向于创建过于复杂的结构来 ” 记忆 ” 训练数据中的噪声。在稀疏数据中，这种效应会被放大，因为很多特征列存在大量零值，导致划分标准变得不稳定。
特征重要性评估偏差：传统的基尼系数或信息增益在稀疏特征上会产生误导性结果。例如，某个出现频率很低的类别型特征可能偶然与标签高度相关，导致模型错误地将其判断为重要特征。

预剪枝（Pre-pruning）
优点：训练时直接限制树生长（如 max_depth），计算效率高
缺点：可能过早停止分裂，丢失重要模式
后剪枝（Post-pruning）
优点：先完整生长树再修剪，保留更多数据信息
缺点：计算成本高，需保留验证集

方差阈值过滤

from sklearn.feature_selection import VarianceThreshold
selector = VarianceThreshold(threshold=0.8*(1-0.8))
X_highvar = selector.fit_transform(X)

互信息筛选

from sklearn.feature_selection import mutual_info_classif
mi_scores = mutual_info_classif(X, y)
selected_idx = np.where(mi_scores > 0.05)[0]

from sklearn.tree import DecisionTreeClassifier
from sklearn.model_selection import GridSearchCV

param_grid = {'criterion': ['gini', 'entropy'],
    'max_depth': range(3, 15, 2),
    'min_samples_leaf': [1, 3, 5],
    'ccp_alpha': [0.0, 0.01, 0.1]  # 代价复杂度参数
}

grid_search = GridSearchCV(DecisionTreeClassifier(),
    param_grid,
    cv=5,
    scoring='f1_weighted'
)
grid_search.fit(X_train, y_train)

import matplotlib.pyplot as plt
from sklearn.tree import plot_tree

plt.figure(figsize=(20,10))
plot_tree(
    grid_search.best_estimator_, 
    feature_names=X.columns,
    class_names=y.unique(),
    filled=True
)
plt.show()