CEEMDAN-Transformer 实战：如何解决非平稳时序信号预测中的模态混叠问题

1次阅读

没有评论

共计 2064 个字符，预计需要花费 6 分钟才能阅读完成。

非平稳时序信号预测（如电力负荷、股票价格、振动监测等场景）长期面临两大核心挑战：

模态混叠现象 ：传统方法如 EMD 在分解过程中会出现不同时间尺度的信号分量混叠，导致 IMF（本征模态函数）失去物理意义。例如高频噪声泄漏到低频趋势项中
特征提取瓶颈 ：CNN/RNN 等模型难以同时捕捉局部突变和全局周期特性，STFT 和 Wavelet 变换面临时频分辨率取舍问题

对比三种频谱分析方法：

STFT：固定窗长导致高频区时间分辨率差，低频区频率分辨率差
$$\text{STFT}(t,f) = \int_{-\infty}^{\infty} x(\tau)w(\tau-t)e^{-j2\pi f\tau}d\tau$$
Wavelet：虽改进时频局部化，但基函数选择依赖先验知识
CEEMDAN：通过自适应噪声注入解决模态混叠，实现完全数据驱动的分解

关键改进在于噪声添加策略：

第 k 阶 IMF 分解时，添加特定方差的高斯白噪声
$$E_k(w^{(i)}) = \frac{\epsilon_k \sigma(r_{k-1})}{N} \sum_{i=1}^N w^{(i)}$$
其中 $\epsilon_k$ 为噪声系数，$r_{k-1}$ 为当前残差
停止条件采用相对标准差（RDS）:
$$\text{RDS} = \frac{\sum_{t=1}^T |h_{k-1}(t)-h_k(t)|^2}{\sum_{t=1}^T h_{k-1}^2(t)} < \delta$$

           [IMF1] → Linear → Head1 ↘
           [IMF2] → Linear → Head2 → Multi-Head Attention → Predict
           ...         ...     ... ↗

每个 IMF 分量通过独立线性层映射到注意力空间
位置编码采用可学习参数矩阵，动态适应 IMF 数量变化

def check_stop_condition(prev_imf, current_imf, threshold=0.05):
    """
    Args:
        prev_imf: Tensor of shape [batch, seq_len]
        current_imf: Tensor of shape [batch, seq_len]
        threshold: RDS stopping threshold (default 0.05)
    Returns:
        bool: True if stopping condition met
    """
    numerator = torch.sum((prev_imf - current_imf)**2, dim=1)
    denominator = torch.sum(prev_imf**2, dim=1) + 1e-8
    rds = torch.mean(numerator / denominator)
    return rds < threshold

class IMFTransformer(nn.Module):
    def __init__(self, n_heads=8, d_model=64):
        super().__init__()
        self.imf_projs = nn.ModuleList([nn.Linear(1, d_model) for _ in range(10) # max IMFs
        ])
        self.pos_enc = nn.Parameter(torch.randn(10, d_model))

    def forward(self, imfs):  # imfs: [batch, n_imfs, seq_len]
        # Project each IMF
        projected = []
        for i in range(imfs.shape[1]):
            proj = self.imf_projs[i](imfs[:,i].unsqueeze(-1))
            projected.append(proj + self.pos_enc[i])

        # Stack and apply attention
        x = torch.stack(projected, dim=1)  # [batch, n_imfs, d_model]
        return self.transformer(x)

使用 UCI 电力数据集（370K 样本）的对比结果：