2025年泰迪杯数据挖掘挑战赛：基于Transformer的时间序列预测实战方案

1次阅读

共计 2113 个字符，预计需要花费 6 分钟才能阅读完成。

在泰迪杯这类数据挖掘竞赛中，时间序列预测任务往往面临几个典型挑战：

非平稳性 ：很多真实场景的时序数据（如股票价格、气象数据）统计特性随时间变化，传统方法假设的平稳性难以满足
噪声干扰 ：传感器采集的工业数据常包含测量误差，医疗数据可能存在记录缺失
多变量耦合 ：像交通流量预测中，天气、节假日等多个因素相互影响
长程依赖 ：电力负荷预测等场景需要捕捉数月甚至更早的历史模式

横向对比三类主流时序模型：

ARIMA：
优点：计算资源需求低，适合平稳序列
缺点：手动差分繁琐，难以处理多变量
LSTM：
优点：自动特征提取，适合非线性关系
缺点：串行计算效率低，长序列梯度衰减
Transformer：
核心优势：注意力机制直接建模任意距离的依赖关系
附加价值：并行计算效率高，模块化设计扩展性强

def positional_encoding(max_len, d_model):
    """
    生成 Transformer 用的正弦位置编码
    :param max_len: 最大序列长度
    :param d_model: 嵌入维度
    :return: (max_len, d_model) 的编码矩阵
    """
    position = torch.arange(max_len).unsqueeze(1)
    div_term = torch.exp(torch.arange(0, d_model, 2) * (-math.log(10000.0) / d_model))
    pe = torch.zeros(max_len, d_model)
    pe[:, 0::2] = torch.sin(position * div_term)  # 偶数维正弦
    pe[:, 1::2] = torch.cos(position * div_term)  # 奇数维余弦
    return pe

self.attention = nn.MultiheadAttention(
    embed_dim=d_model,
    num_heads=8,  # 头数建议设为嵌入维度约数
    dropout=0.1,
    batch_first=True  # PyTorch 新版特性
)

采用 MASE（Mean Absolute Scaled Error）适应数据尺度变化：

def mase_loss(y_true, y_pred, y_train):
    """
    :param y_true: 真实值 (batch_size, output_len)
    :param y_pred: 预测值 (batch_size, output_len)
    :param y_train: 训练集历史数据 (batch_size, input_len)
    """
    naive_error = torch.mean(torch.abs(y_train[:, 1:] - y_train[:, :-1]))
    return torch.mean(torch.abs(y_true - y_pred)) / naive_error

时序交叉验证必须按时间顺序划分
特征工程避免使用未来信息（如移动平均需滞后处理）

先粗调再精调：
先用大范围网格搜索（如学习率在 [1e-5, 1e-3]）
确定最优区间后贝叶斯优化
关键参数经验值：
batch_size：32-128（根据 GPU 显存调整）
dropout 率：0.1-0.3
warmup_steps：总训练步数的 5%-10%

early_stopping = EarlyStopping(
    patience=10,  # 容忍轮次
    delta=0.001,  # 最小改进阈值
    path='best_model.pt'  # 模型保存路径
)

scaler = torch.cuda.amp.GradScaler()

with torch.cuda.amp.autocast():
    output = model(inputs)
    loss = criterion(output, targets)

scaler.scale(loss).backward()
scaler.step(optimizer)
scaler.update()

def print_gpu_utilization():
    print(f"GPU 内存占用: {torch.cuda.memory_allocated() / 1024**2:.2f} MB")
    print(f"峰值内存: {torch.cuda.max_memory_allocated() / 1024**2:.2f} MB")