基于决策树的葡萄酒分类实战：从数据预处理到模型优化

1次阅读

没有评论

共计 2505 个字符，预计需要花费 7 分钟才能阅读完成。

葡萄酒分类是机器学习中的经典案例，但在实际业务中会遇到两个典型问题：

高维特征挑战 ：葡萄酒数据集通常包含 13+ 个化学特征（如酒精含量、苹果酸浓度等），直接训练容易引发维度灾难
样本不均衡 ：某些类别的样本量可能显著少于其他类（如陈年葡萄酒样本稀缺），导致模型偏向多数类

传统算法表现对比：

逻辑回归：对特征间的非线性关系捕捉能力弱
SVM：虽然可通过核方法处理非线性问题，但模型解释性差且训练耗时长

决策树的优势在于：

自动选择重要特征（内置特征重要性评估）
处理混合类型数据无需标准化
可视化决策路径便于业务解释

from sklearn.datasets import load_wine
import pandas as pd

# 加载数据集
wine = load_wine()
df = pd.DataFrame(wine.data, columns=wine.feature_names)
df['target'] = wine.target

# 检查数据质量
print(f"缺失值统计：\n{df.isnull().sum()}")
print(f"异常值示例（酒精含量 >14）：\n{df[df['alcohol'] > 14].shape[0]} 条")

关键处理步骤：

用中位数填充可能的缺失值（本数据集无缺失，但实际生产需考虑）
对异常值采用 Winsorization 处理（缩尾处理）

import matplotlib.pyplot as plt

# 计算特征相关性
corr = df.corr()
plt.figure(figsize=(12,8))
plt.imshow(corr, cmap='coolwarm')
plt.colorbar()
plt.xticks(range(len(corr.columns)), corr.columns, rotation=90)
plt.yticks(range(len(corr.columns)), corr.columns)
plt.show()

通过热力图可发现：

总酚（total_phenols）与类黄酮（flavanoids）高度正相关（r>0.9）
非黄烷类酚（nonflavanoid_phenols）与其他特征呈负相关

from sklearn.tree import DecisionTreeClassifier
from sklearn.model_selection import train_test_split, GridSearchCV

# 划分数据集
X_train, X_test, y_train, y_test = train_test_split(wine.data, wine.target, test_size=0.2, random_state=42)

# 关键参数网格
param_grid = {'max_depth': [3, 5, 7, None],
    'min_samples_split': [2, 5, 10],
    'criterion': ['gini', 'entropy']
}

# 网格搜索优化
clf = GridSearchCV(DecisionTreeClassifier(), param_grid, cv=5)
clf.fit(X_train, y_train)

print(f"最佳参数：{clf.best_params_}")
print(f"测试集准确率：{clf.score(X_test, y_test):.2f}")

参数解释：

max_depth：控制树的最大深度，防止过拟合
min_samples_split：节点分裂所需最小样本数
criterion：分裂质量衡量标准（基尼系数 $Gini=1-\sum{p_i^2}$ 或信息熵 $H(X)=-\sum{p(x_i)log_2p(x_i)}$）

后剪枝操作示例：

# 获取最优模型
best_tree = clf.best_estimator_

# 计算 CCP 路径
path = best_tree.cost_complexity_pruning_path(X_train, y_train)
ccp_alphas = path.ccp_alphas

# 选择最优 alpha
pruned_tree = DecisionTreeClassifier(ccp_alpha=ccp_alphas[-2])
pruned_tree.fit(X_train, y_train)

推荐使用 joblib（尤其大模型时效率更高）：

from joblib import dump

dump(pruned_tree, 'wine_classifier.joblib')

# 加载模型
# from joblib import load
# model = load('wine_classifier.joblib')

决策树的优势在于：

预测时仅需 if-else 判断，计算复杂度 O(树深度)
可转换为 C 代码直接部署（使用 sklearn.tree.export_text）
内存占用远小于神经网络模型

建议尝试：

固定其他参数，仅切换 criterion
统计两种标准下的特征重要性排序差异
对比模型在噪声数据下的鲁棒性

随机森林改进方案：

from sklearn.ensemble import RandomForestClassifier

rf = RandomForestClassifier(
    n_estimators=100,
    max_features='sqrt',  # 每棵树随机选择 sqrt(n_features) 个特征
    oob_score=True        # 使用袋外样本评估
)
rf.fit(X_train, y_train)
print(f"OOB 准确率：{rf.oob_score_:.2f}")

通过本次实战发现：