CEEMDAN与Transformer融合实战：时间序列分解与预测的完整指南

1次阅读

共计 2491 个字符，预计需要花费 7 分钟才能阅读完成。

在真实场景的时间序列预测中，我们常常遇到非平稳信号（Non-stationary Signals）带来的困扰。这类信号具有时变的统计特性（如电力负荷、股票价格等），直接使用 Transformer 等模型处理时，往往会因为以下问题导致效果不佳：

多尺度特征混杂：高频噪声与低频趋势相互干扰
长期依赖捕捉困难：传统位置编码难以适应突变点
模态混淆（Mode Mixing）：单一频率成分分散到不同 IMF 中

相比 STL（Seasonal-Trend decomposition using Loess）和小波变换（Wavelet Transform），CEEMDAN 具有两大优势：

完全自适应噪声机制，避免人工设定噪声强度
完备集合特性，消除残余噪声干扰

CEEMDAN（Complete Ensemble Empirical Mode Decomposition with Adaptive Noise）的核心改进在于噪声添加策略。其数学表达为：

$$IMF_k = \frac{1}{I} \sum_{i=1}^I (E_{k-1}(x + \beta_{k-1}w_i) – E_{k-1}(x))$$

关键步骤解析：

自适应噪声注入：第 k 阶段使用 $\beta_{k-1}=\epsilon_k std(r_{k-1})$ 动态调整噪声强度
完备集合计算：通过求解局部均值包络（Local Mean Envelope）获得纯 IMF 分量
终止条件：当残差（Residue）成为单调函数时停止分解

与 EEMD 相比，CEEMDAN 的改进主要体现在：

噪声强度与当前残差能量自动适配
避免不同 IMF 间的能量泄漏
减少重构误差（Reconstruction Error）

经过 CEEMDAN 分解后，我们需要合理重组 IMF 分量（Intrinsic Mode Functions）：

能量筛选法：计算各 IMF 能量占比 $E_k=\frac{||IMF_k||_2^2}{\sum||IMF||_2^2}$，剔除能量 <5% 的分量
频带合并：使用 Pearson 相关系数合并相似 IMF（$\rho>0.7$）
残差处理：将趋势项（Residue）作为独立特征输入

针对 IMF 特性调整 Transformer 结构：

分层位置编码：为不同频段 IMF 设计独立的 positional encoding
注意力掩码：限制高频分量只关注短期窗口（如 50 步）
多尺度损失函数：为不同 IMF 分配自适应权重

import numpy as np
from PyEMD import CEEMDAN
import torch
import torch.nn as nn

class CEEMDAN_Transformer(nn.Module):
    def __init__(self, n_imf=5, d_model=64):
        super().__init__()
        # CEEMDAN 分解层
        self.ceemdan = CEEMDAN()

        # IMF 能量加权
        self.energy_weights = nn.Parameter(torch.ones(n_imf)/n_imf)

        # Transformer 编码器
        encoder_layer = nn.TransformerEncoderLayer(d_model=d_model, nhead=4)
        self.transformer = nn.TransformerEncoder(encoder_layer, num_layers=3)

    def forward(self, x):
        # 1. CEEMDAN 分解
        imfs = self.ceemdan(x)  # [batch, seq_len] -> [n_imf, batch, seq_len]

        # 2. 能量标准化
        energies = torch.norm(imfs, dim=-1)  # [n_imf, batch]
        norm_weights = self.energy_weights.softmax(-1) * energies.mean(1)

        # 3. Transformer 处理
        imf_embed = self.imf_proj(imfs)  # 投影到 d_model 维度
        output = self.transformer(imf_embed * norm_weights.unsqueeze(-1))

        return output.mean(0)  # 聚合所有 IMF 信息

关键实现细节：