2025美赛C题决策树建模：从数据预处理到模型优化的完整解决方案

1次阅读

共计 2664 个字符，预计需要花费 7 分钟才能阅读完成。

美赛 C 题通常涉及复杂的社会系统或工程问题（如交通流量预测、医疗资源分配），数据常呈现以下特征：

多源异构数据 ：包含数值型（如温度读数）、类别型（如天气状况）和时间序列数据（如传感器记录）
缺失值与噪声 ：实地采集数据常存在 10%-20% 的缺失比例
高维度小样本 ：特征数可能超过 100 但样本量仅数千条（典型的 n <p 问题）

决策树特别适合此类场景，因为：

可处理混合类型特征无需统一标准化
自动特征选择缓解维度灾难
可视化规则便于向评委展示解题逻辑

算法	分裂标准	支持特征类型	剪枝方式	适用场景
CART	基尼系数 (Gini)	数值 / 类别	代价复杂度剪枝	分类 / 回归
C4.5	信息增益比	数值 / 类别	悲观剪枝	分类任务
ID3	信息增益	仅类别	无	教学演示

选择建议 ：
– 当特征含连续变量时优先 CART
– 若类别特征较多且需强解释性选 C4.5
– 避免使用已淘汰的 ID3 算法

from sklearn.preprocessing import OrdinalEncoder, MinMaxScaler
from sklearn.model_selection import train_test_split

# 类别特征编码
encoder = OrdinalEncoder()
data[['category_col1', 'category_col2']] = encoder.fit_transform(data[['category_col1', 'category_col2']])

# 数值特征缩放（决策树可不缩放，但有利于可视化）scaler = MinMaxScaler()
data[['numeric_col1', 'numeric_col2']] = scaler.fit_transform(data[['numeric_col1', 'numeric_col2']])

# 处理缺失值：用中位数填充（优于均值抗异常值）data.fillna(data.median(), inplace=True)

# 划分数据集
X_train, X_test, y_train, y_test = train_test_split(data.drop('target', axis=1), 
    data['target'], 
    test_size=0.2,
    stratify=data['target']  # 保持类别比例
)

from sklearn.tree import DecisionTreeClassifier
from sklearn.metrics import classification_report

# 初始化模型（关键参数后续优化）model = DecisionTreeClassifier(
    criterion='gini',  # 也可用 'entropy' 对应 C4.5
    max_depth=5,       # 防止过拟合
    min_samples_split=10,
    class_weight='balanced'  # 处理类别不平衡
)

# 训练与评估
model.fit(X_train, y_train)
print(classification_report(y_test, model.predict(X_test)))

from sklearn.model_selection import GridSearchCV

param_grid = {'max_depth': [3, 5, 7, None],
    'min_samples_split': [2, 5, 10],
    'min_impurity_decrease': [0, 0.001, 0.01]
}

grid_search = GridSearchCV(DecisionTreeClassifier(),
    param_grid,
    cv=5,
    scoring='f1_macro'  # 美赛常用多分类指标
)
grid_search.fit(X_train, y_train)

print(f"最佳参数: {grid_search.best_params_}")
print(f"最佳验证分数: {grid_search.best_score_:.4f}")

上采样 (SMOTE)：适合训练数据量少时
下采样 ：当多数类样本 >> 少数类时使用
类别权重 ：设置 class_weight 参数比采样更高效

import matplotlib.pyplot as plt
from sklearn.model_selection import learning_curve

train_sizes, train_scores, test_scores = learning_curve(model, X_train, y_train, cv=5)

plt.plot(train_sizes, train_scores.mean(axis=1), label='训练集')
plt.plot(train_sizes, test_scores.mean(axis=1), label='验证集')
plt.xlabel('训练样本数')
plt.ylabel('准确率')
plt.legend()

若两条曲线差距过大则出现过拟合，解决措施：
– 增加 min_samples_leaf
– 降低 max_depth
– 使用剪枝参数 ccp_alpha