2025年泰迪杯数据挖掘挑战赛B题优秀论文解析：从数据预处理到模型优化的完整解决方案

1次阅读

共计 2086 个字符，预计需要花费 6 分钟才能阅读完成。

数据挖掘竞赛中，参赛者常面临三大核心挑战：数据不平衡、特征工程复杂、模型调优困难。这些挑战直接影响最终模型的性能和竞赛成绩。

数据不平衡 ：现实数据往往呈现长尾分布，少数类别样本不足导致模型偏向多数类。泰迪杯 B 题数据集中，正负样本比例达 1:9，传统分类器易将少数类误判。
特征工程复杂 ：原始特征常存在缺失值、异常值、高维度等问题。该赛题涉及 200+ 原始特征，包含时序数据和类别型变量混合。
模型调优困难 ：超参数组合爆炸（如 XGBoost 有 12+ 关键参数）、训练成本高，且需平衡过拟合与欠拟合。

缺失值处理
均值 / 中位数填充：计算高效但扭曲分布
KNN 插值：保持局部结构但计算复杂度 O(n²)
论文方案：采用 LightGBM 预测缺失值，AUC 提升 3.2%
异常值检测
3σ 原则：简单快速但对非正态分布敏感
Isolation Forest：无参数假设但内存占用高
论文方案：基于马氏距离的动态阈值检测，F1 提高 1.8%

特征构造 ：
时序特征：滑动窗口统计量（均值 / 方差）
交叉特征：笛卡尔积编码（需防范维度爆炸）
特征选择 ：
方差阈值：移除低方差特征
递归特征消除（RFE）：计算成本高但效果稳定
论文方案：SHAP 值加权选择，特征维度减少 40% 时精度保持 98%

模型	训练速度	可解释性	内存占用	论文最终选择
XGBoost	★★★★	★★	中等	基模型
LightGBM	★★★★★	★★	低	主模型
CatBoost	★★★	★★★	高	未采用
双层 Stacking	★★	★	极高	决赛方案

智能缺失值填充

class LightGBMImputer:
    def fit(self, X, col_missing):
        # 用非缺失数据训练 LGBM
        train_idx = ~X[col_missing].isnull()
        self.model = LGBMClassifier().fit(X[train_idx].drop(col_missing, axis=1),
            X[train_idx][col_missing])

    def transform(self, X):
        # 预测并填充缺失值
        pred = self.model.predict_proba(X.drop(col_missing, axis=1))
        X[col_missing] = np.where(X[col_missing].isnull(), pred[:,1], X[col_missing])
        return X

时序特征构造 ：

def create_rolling_features(df, window=7):
    return df.groupby('user_id').apply(lambda x: x.rolling(window)
                  .agg(['mean','std','max'])
                  .add_prefix(f'roll_{window}_'))

SHAP 特征选择 ：

shap_values = shap.TreeExplainer(model).shap_values(X_train)
importance = np.abs(shap_values).mean(0)
selected = importance > np.percentile(importance, 60)

类别不平衡处理
代价敏感学习：scale_pos_weight= 负样本数 / 正样本数
过采样：SMOTE-NC（混合数据类型兼容）

贝叶斯超参优化

from skopt import BayesSearchCV
opt = BayesSearchCV(estimator=LGBMClassifier(),
    search_spaces={'learning_rate': (0.01, 0.3, 'log-uniform'),
        'num_leaves': (20, 300),
        'min_child_samples': (10, 100)
    },
    n_iter=50,
    scoring='f1'
)

在 10-fold 交叉验证下的指标对比：