2024泰迪杯数据挖掘B题代码解析：从数据预处理到模型优化的完整实战指南

1次阅读

没有评论

共计 1828 个字符，预计需要花费 5 分钟才能阅读完成。

泰迪杯数据挖掘竞赛是国内知名的数据科学赛事，2024 年 B 题聚焦电商用户行为预测。题目提供了用户浏览、收藏、加购等时序行为数据，要求预测未来 7 天的购买转化概率。核心挑战在于：

数据存在大量缺失值和噪声
用户行为具有明显的时间序列特性
正负样本比例严重失衡（约 1:20）

原始数据存在三种缺失情况：

数值型字段缺失（如用户年龄）
类别型字段缺失（如商品类目）
行为序列中断（如连续多天无记录）

对应解决方案：

# 数值型缺失：用中位数填充
from sklearn.impute import SimpleImputer
num_imputer = SimpleImputer(strategy='median')
df[['age','view_count']] = num_imputer.fit_transform(df[['age','view_count']])

# 类别型缺失：单独标记为 'UNKNOWN'
df['category'] = df['category'].fillna('UNKNOWN')

# 时间序列缺失：前向填充 + 标记缺失状态
df = df.sort_values(['user_id','date'])
df[['view','cart']] = df.groupby('user_id')[['view','cart']].ffill()
df['is_missing'] = df['view'].isnull().astype(int)

通过 IQR 方法识别异常消费金额：

Q1 = df['amount'].quantile(0.25)
Q3 = df['amount'].quantile(0.75)
IQR = Q3 - Q1
df = df[~((df['amount'] < (Q1 - 1.5*IQR)) | 
          (df['amount'] > (Q3 + 1.5*IQR)))]

计算用户 7 天滑动窗口统计量：

def rolling_features(group):
    return group.rolling('7D', on='date').agg({'view': ['sum','mean','std'],
        'cart': ['max','skew']
    })

df = df.groupby('user_id').apply(rolling_features)

组合用户属性和商品特征：

df['age_cat_interaction'] = df['age_group'].astype(str) + '_' + df['category']

对比测试结果：

模型	AUC	训练时间
Logistic 回归	0.712	2min
XGBoost	0.803	8min
LightGBM	0.811	5min
LSTM	0.798	45min

最终选择 LightGBM+ 贝叶斯调参：

import lightgbm as lgb
from skopt import BayesSearchCV

params = {'learning_rate': (0.01, 0.3),
    'num_leaves': (20, 200),
    'min_child_samples': (10, 100)
}

model = BayesSearchCV(estimator=lgb.LGBMClassifier(),
    search_spaces=params,
    n_iter=30,
    cv=5
)
model.fit(X_train, y_train)

关键指标表现：