2023年泰迪杯数据挖掘挑战赛B题数据集解析与实战解决方案

1次阅读

没有评论

共计 1921 个字符，预计需要花费 5 分钟才能阅读完成。

2023 年泰迪杯数据挖掘挑战赛 B 题提供了一个典型的工业级数据集，主要聚焦于预测分析任务。这个数据集包含约 50 万条样本，涉及 20 多个原始特征。经过初步分析，我们发现数据集存在以下几个核心挑战：

严重的数据不平衡 ：正负样本比例接近 1:9，这会导致模型倾向于预测多数类
高维稀疏特征 ：部分特征维度存在大量零值，影响模型训练效率
特征冗余与相关性 ：多个特征之间存在高度线性相关，Pearson 系数超过 0.8
缺失值问题 ：约 15% 的样本存在不同程度的缺失值

针对上述挑战，我们对比了两种主流树模型的表现：

XGBoost 优势 ：
内置缺失值处理机制
正则化项有效防止过拟合
支持自定义损失函数
LightGBM 优势 ：
直方图算法加速训练
Leaf-wise 生长策略提升精度
更低的内存消耗

实际测试表明，在相同超参数下，LightGBM 训练速度是 XGBoost 的 3 倍，但 XGBoost 在少数类识别上 F1-score 高出 2%。最终我们选择 XGBoost 作为基础模型。

缺失值处理 ：
连续特征：中位数填充
类别特征：新增 ”missing” 类别
特征编码 ：
高基数类别特征：采用 Target Encoding
低基数特征：One-Hot Encoding
特征选择 ：
基于 SHAP 值筛选 Top15 特征
删除方差小于 0.01 的低方差特征

采用贝叶斯优化进行超参数搜索，关键参数范围：

param_space = {'max_depth': (3, 10),
    'learning_rate': (0.01, 0.3),
    'subsample': (0.6, 1.0),
    'colsample_bytree': (0.6, 1.0),
    'gamma': (0, 5),
    'scale_pos_weight': [9]  # 处理样本不平衡
}

import xgboost as xgb
from sklearn.model_selection import train_test_split

# 数据预处理
df = pd.read_csv('teddycup2023b.csv')
df.fillna({'numeric_col': df['numeric_col'].median(), 
          'cate_col': 'missing'}, inplace=True)

# 特征编码
encoder = TargetEncoder()
df['high_card_col'] = encoder.fit_transform(df['high_card_col'], df['target'])

# 数据集划分
X_train, X_test, y_train, y_test = train_test_split(df.drop('target', axis=1), df['target'], test_size=0.2, stratify=df['target'])

# 模型训练
dtrain = xgb.DMatrix(X_train, label=y_train)
params = {
    'objective': 'binary:logistic',
    'eval_metric': 'aucpr',  # 更适合不平衡数据
    'max_depth': 6,
    'learning_rate': 0.1
}
model = xgb.train(params, dtrain, num_boost_round=200)

# 模型评估
dtest = xgb.DMatrix(X_test)
preds = model.predict(dtest)

经过优化后的模型在测试集上取得如下指标：