决策树模型实战：参数调优与测试集准确率对比指南

1次阅读

共计 2502 个字符，预计需要花费 7 分钟才能阅读完成。

决策树作为一种经典的机器学习算法，因其直观易懂、可解释性强等特点，广泛应用于分类和回归问题。比如在金融风控中判断贷款风险，医疗诊断中预测疾病类型，电商领域用户行为分析等场景。相比其他黑盒模型，决策树最大的优势是决策过程可视化——你可以直接看到模型是如何通过一系列 if-else 规则做出预测的。

但在实际应用中，决策树调参常会遇到几个典型问题：

过拟合问题：树深度过大时，模型会记住训练数据细节，导致测试集表现差
欠拟合问题：树深度太浅时，模型无法捕捉数据中的有效模式
特征重要性误判：当特征间存在相关性时，重要特征可能被低估
参数组合爆炸：多个参数相互影响，难以找到最优组合

下面以 scikit-learn 和鸢尾花数据集为例，演示完整的建模流程。我们将重点关注 max_depth 和min_samples_split这两个关键参数的影响。

from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split

# 加载数据
iris = load_iris()
X, y = iris.data, iris.target

# 划分训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=42)

我们先建立一个不做任何调参的基准模型：

from sklearn.tree import DecisionTreeClassifier
from sklearn.metrics import accuracy_score

# 初始化默认参数的决策树
base_model = DecisionTreeClassifier(random_state=42)
base_model.fit(X_train, y_train)

# 评估
base_pred = base_model.predict(X_test)
print(f"基准模型准确率: {accuracy_score(y_test, base_pred):.4f}")

现在我们来系统性地测试不同参数组合。这里使用网格搜索方法：

import pandas as pd
from sklearn.model_selection import GridSearchCV

# 定义参数网格
param_grid = {'max_depth': [3, 5, 7, 10, None],
    'min_samples_split': [2, 5, 10],
}

# 网格搜索
grid_search = GridSearchCV(DecisionTreeClassifier(random_state=42),
    param_grid,
    cv=5,
    scoring='accuracy'
)
grid_search.fit(X_train, y_train)

# 结果转 DataFrame 方便查看
results = pd.DataFrame(grid_search.cv_results_)
print(results[['param_max_depth', 'param_min_samples_split', 'mean_test_score']])

选择表现最好的参数组合，在测试集上做最终评估：

best_model = grid_search.best_estimator_
print(f"最优参数: {grid_search.best_params_}")

# 完整评估指标
from sklearn.metrics import classification_report, confusion_matrix

y_pred = best_model.predict(X_test)
print(f"\n 测试集准确率: {accuracy_score(y_test, y_pred):.4f}")
print("\n 分类报告:")
print(classification_report(y_test, y_pred))
print("\n 混淆矩阵:")
print(confusion_matrix(y_test, y_pred))

通过实验我们可以得出一些重要规律：