决策树模型实战：从训练到预测的完整避坑指南

1次阅读

没有评论

共计 1818 个字符，预计需要花费 5 分钟才能阅读完成。

刚开始接触决策树时，我经常遇到模型在训练集上表现完美，但测试集上惨不忍睹的情况。后来才发现这是决策树最容易掉进的坑——过拟合。决策树会不断分裂节点直到所有叶子节点都纯净（即同一类别），这种贪婪策略对训练数据记忆过度，却缺乏泛化能力。

典型症状 ：训练准确率 >95% 而测试准确率 <60%
根本原因 ：树结构过于复杂，捕获了噪声而非真实规律
连带问题 ：
高基数类别特征（如用户 ID）会导致无效分裂
类别不平衡时模型偏向多数类
特征选择依赖人工经验

决策树算法发展经历了几个重要阶段，每种算法各有适用场景：

ID3（1986）
使用信息增益选择特征
缺点：偏向取值多的特征，不能处理连续值
适合场景：离散特征且取值较均匀的数据
C4.5（1993）
改进点：用信息增益率替代信息增益
新增功能：支持连续特征和缺失值处理
适合场景：特征取值差异大的现实数据
CART（1984）
使用基尼系数作为分裂标准
可同时处理分类和回归任务
适合场景：需要高效计算的工业级应用

通过这个 Python 示例，我们加载鸢尾花数据集并训练决策树模型：

from sklearn.tree import DecisionTreeClassifier
from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split

# 加载数据
iris = load_iris()
X_train, X_test, y_train, y_test = train_test_split(iris.data, iris.target, test_size=0.3, random_state=42)

# 关键参数说明
params = {
    'criterion': 'gini',  # 分裂标准：gini/entropy
    'max_depth': 3,       # 控制树深防止过拟合
    'min_samples_split': 2, # 节点最小样本数
    'min_samples_leaf': 1   # 叶节点最小样本数
}

# 训练模型
tree = DecisionTreeClassifier(**params)
tree.fit(X_train, y_train)

# 评估
print(f"训练准确率: {tree.score(X_train, y_train):.2f}")
print(f"测试准确率: {tree.score(X_test, y_test):.2f}")

理解哪些特征真正影响预测结果：

import matplotlib.pyplot as plt

# 获取特征重要性
importances = tree.feature_importances_
features = iris.feature_names

# 绘制条形图
plt.figure(figsize=(8,4))
plt.barh(features, importances)
plt.xlabel('Feature Importance')
plt.title('Decision Tree Feature Importance')
plt.show()

处理高基数特征
对超过 20 个取值的类别特征进行分组或编码
示例：将城市编码为省份减少基数
类别不平衡解决方案
设置 class_weight=’balanced’
上采样少数类或下采样多数类
何时改用随机森林
当单棵树方差过大时
特征交互复杂的情况
剪枝策略对比
预剪枝（控制 max_depth）vs 后剪枝（ccp_alpha）
实验数据：剪枝后模型大小减少 70%，准确率提升 5%

交叉验证调参

from sklearn.model_selection import GridSearchCV

param_grid = {'max_depth': [3,5,7,None]}
grid_search = GridSearchCV(tree, param_grid, cv=5)
grid_search.fit(X_train, y_train)