2024泰迪杯数据挖掘B题代码实战：新手入门指南与避坑手册

1次阅读

共计 1811 个字符，预计需要花费 5 分钟才能阅读完成。

2024 泰迪杯数据挖掘 B 题聚焦于 电商用户行为预测，提供了包含用户浏览记录、购买历史、商品属性等字段的 CSV 数据集。数据特点包括：

时间跨度 3 个月的日志数据（约 200 万条）
包含数值型（点击时长）、类别型（商品类别）、时序型（行为时间戳）混合特征
存在 10%-15% 的缺失值和明显异常值（如负数的点击量）

缺失值处理：
数值字段用中位数填充（避免均值受极端值影响）
类别字段用 ’UNKNOWN’ 标记缺失
异常值修正：
通过 IQR 方法检测并修正数值异常
时间戳格式统一转换为 datetime 对象

# 缺失值处理示例
import pandas as pd
df['click_duration'] = df['click_duration'].fillna(df['click_duration'].median())
df['category'] = df['category'].fillna('UNKNOWN')

# 异常值处理（IQR 方法）Q1 = df['purchase_amount'].quantile(0.25)
Q3 = df['purchase_amount'].quantile(0.75)
IQR = Q3 - Q1
df = df[~((df['purchase_amount'] < (Q1 - 1.5*IQR)) | 
          (df['purchase_amount'] > (Q3 + 1.5*IQR)))]

时间特征提取：
分解时间戳为[小时, 周几, 是否周末]
计算用户活跃天数 / 频次
交叉特征构建：
用户品类偏好度 = 用户对某类目的点击次数 / 总点击次数
商品热度 = 历史 30 天购买量

# 时间特征生成示例
df['hour'] = df['timestamp'].dt.hour
df['is_weekend'] = df['timestamp'].dt.dayofweek >= 5

# 用户行为统计特征
user_stats = df.groupby('user_id').agg(total_clicks=('click_duration', 'count'),
    avg_duration=('click_duration', 'mean')
).reset_index()

算法	适用场景	调参重点
LightGBM	处理类别特征高效	num_leaves, learning_rate
XGBoost	数值特征为主	max_depth, subsample
CatBoost	自动处理类别变量	iterations, depth

使用 Optuna 进行超参数搜索
早停机制防止过拟合
特征重要性分析辅助特征筛选

import lightgbm as lgb
from sklearn.model_selection import train_test_split

# 数据集划分
X_train, X_val, y_train, y_val = train_test_split(X, y, test_size=0.2)

# LightGBM 参数设置
params = {
    'objective': 'binary',
    'metric': 'auc',
    'num_leaves': 31,
    'learning_rate': 0.05,
    'feature_fraction': 0.8
}

# 训练模型
model = lgb.train(params,
                 lgb.Dataset(X_train, label=y_train),
                 valid_sets=[lgb.Dataset(X_val, label=y_val)],
                 early_stopping_rounds=50)