2025年泰迪杯数据挖掘挑战赛B题优秀论文解析：新手入门指南与实战技巧

共计 1137 个字符，预计需要花费 3 分钟才能阅读完成。

赛题背景与数据特点

2025 年泰迪杯 B 题聚焦电商平台的用户购买预测，给定用户行为日志、商品属性和历史订单数据，要求预测未来一周的购买转化率。数据集特点包括：

• 高维稀疏特征（用户行为序列平均长度超过 500）
• 类别型特征占比 70% 以上（如商品类目、用户地域）
• 正负样本极不平衡（购买转化率仅 1.2%）

技术挑战分析

1. 特征提取难题 ：如何从海量用户行为中提取有效时序特征
2. 样本不平衡 ：常规分类模型易被负样本主导
3. 计算效率 ：原始数据量达 200GB，需考虑分布式处理

优胜方案技术路线

特征工程实现

优胜方案采用三级特征构造策略：

# 基础特征（类别型编码）df['user_cluster'] = df['user_id'].map(user_cluster_dict)  # 用户分群标签

# 统计特征（滑动窗口聚合）def get_rolling_features(df, window=7):
    return df.groupby('user_id')['click_count'].rolling(window).mean().reset_index()

# 时序特征（LSTM 自动提取）from tensorflow.keras.layers import LSTM
lstm_layer = LSTM(units=64, return_sequences=True)(behavior_input)

模型架构设计

采用双模型融合方案：
1. LightGBM 处理结构化特征
2. Transformer 处理行为序列

关键超参数设置：

lgb_params = {
    'boosting_type': 'dart',  # 应对类别不平衡
    'num_leaves': 127,       # 防止过拟合
    'scale_pos_weight': 80   # 负样本 / 正样本比例
}

模型融合技巧

1. Stacking 方法 ：
2. 第一层：5 折交叉验证生成元特征

3. 第二层：逻辑回归进行加权

4. 后处理优化 ：

5. 基于业务规则调整阈值（从 0.5 调整为 0.3）
6. 对高频用户预测结果进行平滑处理

新手常见 5 大误区

1. 特征工程不足 ：直接使用原始特征，未构造交叉特征
2. 评估指标误用 ：在不平衡数据上只用准确率
3. 过拟合陷阱 ：过早在测试集上验证
4. 资源分配失衡 ：80% 时间调参，忽视特征分析
5. 方案复杂化 ：初期就上深度模型

学习建议

1. 练习数据集：
2. 天池 O2O 优惠券预测（相似业务场景）

3. Kaggle TalkingData AdTracking（同类别不平衡问题）

4. 必读文献：

5. 《Applied Predictive Modeling》特征工程章节
6. LightGBM 官方文档参数说明

实战心得

在复现过程中发现，优胜方案对用户行为序列的离散化处理（将连续点击转为状态编码）比原始时间戳效果提升 12%。建议新手先从官方 baseline 开始，逐步添加特征模块，每步都进行验证集评估，避免陷入 ” 闭门造车 ”。