决策树特征选择实战：如何提前识别30个特征中的关键变量

1次阅读

共计 1906 个字符，预计需要花费 5 分钟才能阅读完成。

当面对 30 个甚至更多特征时，传统的特征选择方法往往显得力不从心。全量特征训练不仅消耗大量计算资源，还会延长开发周期。更糟糕的是，无关或冗余特征可能引入噪声，降低模型性能。这时候，决策树的特征选择能力就显得尤为珍贵。

与 PCA 降维或 Lasso 回归相比，决策树在特征选择上具有独特优势：

解释性强：决策树直接输出特征重要性评分，而 PCA 转换后的特征难以解释
无需标准化：决策树对数据尺度不敏感，省去预处理步骤
非线性关系捕捉：能自动发现特征间的交互作用
计算高效：特征重要性计算复杂度仅为 O(n_features)

from sklearn.tree import DecisionTreeClassifier
from sklearn.datasets import load_breast_cancer
import matplotlib.pyplot as plt

def analyze_feature_importance(max_depth: int = 3) -> None:
    """
    分析并可视化特征重要性
    :param max_depth: 控制树深度的超参数
    """
    data = load_breast_cancer()
    X, y = data.data, data.target
    feature_names = data.feature_names

    # 训练决策树模型
    clf = DecisionTreeClassifier(max_depth=max_depth, random_state=42)
    clf.fit(X, y)

    # 获取特征重要性
    importances = clf.feature_importances_
    indices = importances.argsort()[::-1]

    # 可视化
    plt.figure(figsize=(10, 6))
    plt.title(f"Feature Importances (max_depth={max_depth})")
    plt.bar(range(X.shape[1]), importances[indices], align="center")
    plt.xticks(range(X.shape[1]), [feature_names[i] for i in indices], rotation=90)
    plt.tight_layout()
    plt.show()

# 不同深度下的特征选择对比
analyze_feature_importance(max_depth=3)
analyze_feature_importance(max_depth=5)

max_depth= 3 时，模型会聚焦最显著的 3 - 5 个特征
max_depth= 5 时，更多特征会获得非零重要性评分
建议从浅层树开始，逐步增加深度观察特征重要性变化

对 one-hot 编码后的特征，重要性会被分散到各哑变量
解决方案：使用均值编码或嵌入表示替代 one-hot

from sklearn.model_selection import cross_val_score

# 错误的做法：在全数据集上计算重要性
# 正确的做法：在交叉验证中评估特征重要性
cv_scores = cross_val_score(DecisionTreeClassifier(max_depth=3),
    X, y,
    cv=5,
    scoring='accuracy'
)
print(f"CV Accuracy: {cv_scores.mean():.2f} ± {cv_scores.std():.2f}")