决策树特征选择实战：如何高效识别30个特征中的关键因子

1次阅读

没有评论

共计 1788 个字符，预计需要花费 5 分钟才能阅读完成。

在真实业务场景中，我们常遇到包含 30 个甚至更多特征的数据集。盲目使用所有特征会导致两个典型问题：

计算资源浪费 ：每增加一个特征，决策树的节点分裂计算量呈指数级增长
过拟合风险 ：噪声特征会引导模型学习虚假模式，尤其在数据量不足时

我曾在一个用户流失预测项目中，原始数据集含 38 个特征。使用全特征训练时，模型训练时间长达 45 分钟，且测试集 AUC（Area Under Curve）比验证集低 12%，明显出现过拟合。

决策树通过以下三种主流方法评估特征重要性：

信息增益（Information Gain）
基于信息熵（Entropy）减少量计算：
$IG(D_p,f) = I(D_p) – \sum_{j=1}^m \frac{N_j}{N_p}I(D_j)$
其中 $I(D)$ 是父节点的熵，$N_j$ 是第 j 个子节点的样本数
基尼不纯度（Gini Impurity）
衡量数据不纯度的指标：
$Gini = 1 – \sum_{i=1}^c (p_i)^2$
特征重要性等于该特征带来的不纯度减少总和
排列重要性（Permutation Importance）
通过打乱特征值观察模型性能下降程度，更可靠但计算成本高

from sklearn.tree import DecisionTreeClassifier
from sklearn.datasets import make_classification
import matplotlib.pyplot as plt
import seaborn as sns

# 生成含 30 个特征的模拟数据
X, y = make_classification(n_samples=1000, n_features=30, n_informative=8, random_state=42)

# 初始化决策树（限制深度防止过拟合）model = DecisionTreeClassifier(max_depth=5, min_samples_leaf=10, random_state=42)
model.fit(X, y)

# 获取特征重要性
importances = model.feature_importances_
feature_names = [f'Feat_{i}' for i in range(X.shape[1])]

# 可视化
plt.figure(figsize=(12, 6))
sns.barplot(x=importances, y=feature_names, palette='viridis')
plt.title('Feature Importance Ranking')
plt.xlabel('Importance Score')
plt.ylabel('Features')
plt.tight_layout()
plt.show()

关键参数说明 ：

max_depth=5：限制树深度，避免过度依赖个别特征
min_samples_leaf=10：确保叶节点有足够样本，提高重要性评估稳定性

当多个特征高度相关时，决策树可能随机选择其中一个，导致其他相关特征重要性被低估。解决方案：

先用聚类算法识别特征组
从每组中选择代表特征

对于分类变量，避免使用 LabelEncoding（可能引入虚假顺序），推荐：

from sklearn.preprocessing import OneHotEncoder

# 对分类特征进行独热编码
encoder = OneHotEncoder(drop='first', sparse=False)
cat_features = encoder.fit_transform(df[['category_col']])

不同数据划分可能导致重要性排序波动，建议：