2025年时间序列预测SOTA算法实战：从Informer到Autoformer的演进与优化

1次阅读

共计 1793 个字符，预计需要花费 5 分钟才能阅读完成。

时间序列预测在金融、物联网等领域扮演着重要角色，但传统模型如 RNN 和 ARIMA 在处理长期依赖和复杂模式时面临诸多挑战：

内存瓶颈：RNN 的递归结构导致内存消耗随着序列长度线性增长，难以处理超长序列
误差累积：ARIMA 模型在多步预测时误差会逐步累积，影响长期预测精度
模式捕捉不足：传统方法难以有效捕捉时间序列中的周期性、季节性和突发性变化

2025 年时间序列预测领域的 SOTA 算法主要有 Informer 和 Autoformer，它们在 ETT 数据集上的表现如下：

算法	核心机制	RMSE(m1)	RMSE(m2)	训练速度(样本 / 秒)
Informer	Prob 稀疏注意力	0.257	0.329	120
Autoformer	自相关机制	0.243	0.315	95
Transformer	标准注意力	0.302	0.387	65

class TokenEmbedding(nn.Module):
    def __init__(self, c_in, d_model):
        super().__init__()
        padding = 1
        self.tokenConv = nn.Conv1d(
            in_channels=c_in, 
            out_channels=d_model,
            kernel_size=3, 
            padding=padding,
            padding_mode='circular'
        )
        # 可学习的位置编码
        self.position_embedding = nn.Parameter(torch.randn(1, d_model, 1))

    def forward(self, x):
        x = self.tokenConv(x.permute(0, 2, 1)).transpose(1, 2)
        return x + self.position_embedding

数学公式：

$$
A(Q,K,V) = \text{Softmax}\left(\frac{QK^T}{\sqrt{d_k}}\right)V
$$

$$
M(q_i,K) = \max_j \frac{q_ik_j^T}{\sqrt{d}} – \frac{1}{L_k} \sum_{j=1}^{L_k} \frac{q_ik_j^T}{\sqrt{d}}
$$

def prob_sparse_attention(query, key, value, mask=None):
    d_k = query.size(-1)
    scores = torch.matmul(query, key.transpose(-2, -1)) / math.sqrt(d_k)

    if mask is not None:
        scores = scores.masked_fill(mask == 0, -1e9)

    # 概率稀疏化处理
    m = torch.max(scores, dim=-1, keepdim=True)[0] - torch.mean(scores, dim=-1, keepdim=True)
    top_u = torch.topk(m, k=int(m.size(-1)*0.25), dim=-1)[1]
    scores[~top_u] = -1e9

    p_attn = F.softmax(scores, dim=-1)
    return torch.matmul(p_attn, value)