基于决策树的葡萄酒分类实战：从数据预处理到模型优化

1次阅读

共计 2173 个字符，预计需要花费 6 分钟才能阅读完成。

葡萄酒分类是机器学习入门经典案例，但初学者常遇到以下问题：

特征尺度差异：酒精含量（12-15%）与苹果酸浓度（0.1-0.5g/L）数值量级差异显著，直接影响决策树分裂点计算
过拟合陷阱：不限制树深度时容易生成复杂规则，训练集准确率 99% 但测试集仅 70%
算法选择困惑：相比 SVM（需要调核函数）和随机森林（黑箱特性），决策树具有可视化优势且参数更易解释

import pandas as pd
from sklearn.datasets import load_wine
from sklearn.model_selection import train_test_split

# 加载内置葡萄酒数据集
wine = load_wine()
X = pd.DataFrame(wine.data, columns=wine.feature_names)
y = wine.target

# 查看特征统计
print(X.describe())

关键步骤：

标准化处理（决策树虽不受量纲影响，但能加速训练）
训练测试集拆分（保持类别比例）

from sklearn.preprocessing import StandardScaler

# 按 8:2 比例拆分，stratify 确保类别分布一致
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42, stratify=y)

# 标准化处理（注意仅拟合训练集）scaler = StandardScaler()
X_train_scaled = scaler.fit_transform(X_train)
X_test_scaled = scaler.transform(X_test)

核心参数说明：

criterion: 分裂质量衡量（gini/entropy）
max_depth: 控制过拟合关键参数
min_samples_split: 节点继续分裂的最小样本数

from sklearn.tree import DecisionTreeClassifier

# 初始化模型（限制深度防止过拟合）clf = DecisionTreeClassifier(
    criterion='gini',
    max_depth=3,
    min_samples_split=10,
    random_state=42
)
clf.fit(X_train_scaled, y_train)

# 评估性能
print(f"训练集准确率: {clf.score(X_train_scaled, y_train):.2f}")
print(f"测试集准确率: {clf.score(X_test_scaled, y_test):.2f}")

使用交叉验证寻找最优参数组合：

from sklearn.model_selection import GridSearchCV

param_grid = {'max_depth': [3, 5, 7],
    'min_samples_split': [2, 5, 10],
    'criterion': ['gini', 'entropy']
}

grid = GridSearchCV(DecisionTreeClassifier(random_state=42),
    param_grid,
    cv=5,
    n_jobs=-1
)
grid.fit(X_train_scaled, y_train)

print(f"最优参数: {grid.best_params_}")
print(f"最佳分数: {grid.best_score_:.2f}")

import matplotlib.pyplot as plt

# 获取特征重要性
importances = grid.best_estimator_.feature_importances_
feat_names = wine.feature_names

# 绘制条形图
plt.figure(figsize=(10,6))
plt.barh(feat_names, importances)
plt.xlabel('Feature Importance')
plt.title('决策树特征重要性排名')
plt.show()

当某些葡萄酒品类样本过少时：