决策树模型实战指南：从数据预处理到预测的完整流程解析

1次阅读

共计 2184 个字符，预计需要花费 6 分钟才能阅读完成。

决策树是机器学习中最直观的算法之一，特别适合刚入门的新手。它最大的优势是模型可解释性强——训练完成后可以直接看到决策规则，就像看流程图一样清晰。另外，决策树对数据的要求比较宽松：

不需要做特征缩放（比如归一化）
能同时处理数值型和类别型特征
自动进行特征选择

这些特点让它成为探索性分析和小规模预测的首选工具。我在第一次接触机器学习项目时，就是通过决策树快速理解业务规律的。

实际数据经常存在缺失，决策树虽然能处理缺失值，但提前处理效果更好。这里演示两种常用方法：

# 方法 1：用中位数 / 众数填充
from sklearn.impute import SimpleImputer
num_imputer = SimpleImputer(strategy='median')
data[['年龄','收入']] = num_imputer.fit_transform(data[['年龄','收入']])

# 方法 2：直接删除缺失严重的列
data.drop(columns=['缺失率超过 80% 的列'], inplace=True)

决策树需要将文字类别转换为数字，注意区分有序变量和名义变量：

# 有序变量（如学历：小学 < 初中 < 高中）from sklearn.preprocessing import OrdinalEncoder
edu_level = [['小学','初中','高中','大学']]
data['学历'] = OrdinalEncoder(categories=edu_level).fit_transform(data[['学历']])

# 名义变量（如城市：北京 / 上海 / 广州无大小关系）data = pd.get_dummies(data, columns=['城市'])  # 独热编码

用方差过滤和相关性分析初步筛选特征：

# 移除低方差特征
from sklearn.feature_selection import VarianceThreshold
selector = VarianceThreshold(threshold=0.1)
data = selector.fit_transform(data)

# 可视化特征相关性
import seaborn as sns
sns.heatmap(data.corr(), annot=True)

主要考虑两个指标，根据需求选择：

基尼系数（Gini）：计算更快，适合大多数情况
信息增益（Entropy）：对不平衡数据更敏感

from sklearn.tree import DecisionTreeClassifier

# 两种分裂标准对比
tree_gini = DecisionTreeClassifier(criterion='gini') 
tree_entropy = DecisionTreeClassifier(criterion='entropy')

这些参数直接影响模型效果，建议先用默认值跑通流程再调整：

model = DecisionTreeClassifier(
    max_depth=3,       # 控制树深度防止过拟合
    min_samples_leaf=5, # 叶节点最小样本数
    class_weight='balanced'  # 处理类别不平衡
)

不要只看准确率，特别是不平衡数据时：

from sklearn.metrics import classification_report

print(classification_report(y_test, y_pred, target_names=['类别 1','类别 2']))

这可能是决策树最酷的功能——直接看到决策逻辑：

from sklearn.tree import plot_tree
import matplotlib.pyplot as plt

plt.figure(figsize=(12,8))
plot_tree(model, feature_names=X.columns, 
          class_names=['负样本','正样本'], filled=True)
plt.show()

根据我踩过的坑，总结 5 个常见问题：