共计 1997 个字符，预计需要花费 5 分钟才能阅读完成。
比赛背景与数据特点分析
2026 泰迪杯数据挖掘挑战赛 A 题聚焦于某电商平台的用户行为预测。数据集包含约 50 万条记录，主要字段包括用户 ID、商品类别、点击时间、购买标记等。根据往届经验，这类数据通常存在以下特点：
- 用户行为数据具有明显的时间序列特性，存在周期性模式
- 点击和购买行为极度不平衡（购买率通常 <5%）
- 存在大量缺失值和异常时间戳记录
- 部分类别型特征基数过大（如商品 ID 超过 10 万种）
数据预处理完整流程
缺失值处理
import pandas as pd
import numpy as np
# 加载数据
df = pd.read_csv('contest_data.csv')
# 检查缺失值
print(df.isnull().sum())
# 时间字段用前后值填充
df['click_time'] = df['click_time'].fillna(method='ffill')
# 数值字段用中位数填充
median_val = df['price'].median()
df['price'] = df['price'].fillna(median_val)
# 类别字段用 'UNKNOWN' 标记
df['category'] = df['category'].fillna('UNKNOWN')异常值检测
# 检测时间异常（假设比赛时间为 2026 年 1 月）valid_mask = (df['click_time'] >= '2026-01-01') & (df['click_time'] <= '2026-01-31')
df = df[valid_mask].copy()
# 价格异常处理（假设合理范围为 10-10000）price_mask = (df['price'] >= 10) & (df['price'] <= 10000)
df = df[price_mask].copy()特征编码
from sklearn.preprocessing import LabelEncoder
# 对基数大的类别特征做频数编码
category_counts = df['category'].value_counts()
df['category_freq'] = df['category'].map(category_counts)
# 对基数小的特征做 LabelEncoding
le = LabelEncoder()
df['user_type'] = le.fit_transform(df['user_type'])模型选型建议
- 随机森林 ：
- 优点：对异常值不敏感，无需特征缩放
- 缺点：可能过拟合高基数特征
-
适用场景：特征间交互复杂时
-
XGBoost：
- 优点：自带正则化，处理缺失值能力强
- 缺点：需要更多调参
-
适用场景：数据量较大时
-
LightGBM：
- 优点：训练速度快，内存占用低
- 缺点：对小数据集可能过拟合
- 适用场景：特征维度高时
模型训练与调参技巧
交叉验证实现
from sklearn.model_selection import TimeSeriesSplit
from xgboost import XGBClassifier
tscv = TimeSeriesSplit(n_splits=5)
model = XGBClassifier(objective='binary:logistic')
for train_idx, test_idx in tscv.split(X):
X_train, X_test = X.iloc[train_idx], X.iloc[test_idx]
y_train, y_test = y.iloc[train_idx], y.iloc[test_idx]
model.fit(X_train, y_train)
# 评估代码...早停策略
model = XGBClassifier(
early_stopping_rounds=50,
eval_metric='auc',
eval_set=[(X_val, y_val)] # 需提前划分验证集
)避坑指南
- 数据泄露 ：
- 错误做法：使用未来数据做特征（如用测试集统计量填充训练集）
-
正确做法：严格按时间划分数据集
-
过拟合 ：
- 典型表现：训练集 AUC>0.99 但测试集只有 0.7
-
解决方案：增加正则化项，减少树深度
-
评估指标误解 ：
- 比赛可能使用 F1 而非准确率
- 需调整分类阈值优化指定指标
性能优化建议
- 特征选择 ：
- 使用 SHAP 值评估特征重要性
-
删除重要性 <0.01 的特征
-
并行计算 ：
model = XGBClassifier(n_jobs=4, tree_method='gpu_hist') -
内存优化 ：
- 将类别特征转换为 category 类型
- 使用 float32 代替 float64
延伸思考
- 如何处理用户行为数据中的概念漂移问题？（如促销期间模式变化）
- 当特征维度超过 10 万时，有哪些高效的降维方法？
- 如何设计自定义损失函数来应对极端类别不平衡？
希望这篇指南能帮助新手快速建立解题框架。在实际比赛中，建议先从简单模型开始，逐步迭代优化。记住：好的特征工程往往比复杂模型更能提升成绩。
正文完
