2024年泰迪杯数据挖掘挑战赛赛题解析与实战指南

1次阅读

没有评论

共计 1633 个字符，预计需要花费 5 分钟才能阅读完成。

泰迪杯数据挖掘挑战赛作为国内最具影响力的高校数据科学赛事之一，已连续举办 12 届。2024 年赛题聚焦 多模态数据融合分析，首次引入时序行为数据与文本评论的联合建模任务。与往届相比，本届数据呈现三个显著特点：

异构性增强：包含结构化交易记录、非结构化用户评论、JSON 格式的行为日志
时序跨度大：用户行为数据覆盖连续 180 天，存在明显季节波动
隐式特征多：关键预测指标需要从评论文本中提取情感倾向

官方提供的 competition_data_v12.zip 包含以下核心文件：

user_behavior.json：用户浏览 / 点击时序记录
字段：user_id, timestamp, page_type, duration
挑战：存在高频点击噪声（<1 秒的无效事件）
transaction.csv：结构化交易数据
包含 28 个特征，其中 payment_method 存在 30% 缺失
product_category字段需与外部知识图谱关联
comments.parquet：用户评论文本
采用 Snappy 压缩格式存储
需处理方言拼音与表情符号混合文本

异构数据归一化：

# JSON 日志转 DataFrame
import pandas as pd
df_behavior = pd.json_normalize([json.loads(line) for line in open('user_behavior.json')],
    meta=['user_id', 'timestamp']
)

缺失值智能填充：
对 payment_method 采用 XGBoost 预测缺失值
分类变量使用sklearn.impute.IterativeImputer

时序特征构造：

# 生成用户活跃时段特征
df_behavior['hour'] = pd.to_datetime(df_behavior['timestamp']).dt.hour
activity_by_hour = df_behavior.groupby(['user_id', 'hour']).size().unstack()

文本特征提取：
使用 BERT-wwm 提取评论嵌入向量
构建 TF-IDF 加权的情感词典

模型类型	适用场景	本赛题效果
LightGBM	结构化特征	0.892 AUC
TCN+Attention	时序行为分析	0.901 AUC
Ensemble	最终提交	0.915 AUC

完整特征流水线实现：

# 时序特征生成示例
from tsfresh import extract_features
ts_features = extract_features(df_behavior[['user_id', 'timestamp', 'duration']],
    column_id="user_id",
    column_sort="timestamp"
)

内存压缩技巧：
python # 优化 DataFrame 内存占用 df = df.astype({ 'user_id': 'category', 'page_type': 'category' })
加速特征计算：
对大规模 JSON 使用 ijson 流式解析
文本处理启用 swifter 并行化