CEEMDAN-VMD-TCN-Attention：多变量时间序列预测的深度分解与注意力机制实战

1次阅读

没有评论

共计 2574 个字符，预计需要花费 7 分钟才能阅读完成。

多变量时间序列预测在工业、金融和气象等领域有广泛应用，但面临三大核心挑战：

噪声干扰：传感器采集的原始数据常包含高频噪声，传统滤波方法可能丢失有效信息
特征耦合：多个变量间存在复杂非线性关系，简单特征工程难以解耦
长期依赖：关键模式可能跨越数百个时间步，RNN 类模型易出现梯度消失

传统方法的局限性对比：

ARIMA：仅适用于单变量线性关系，对突变响应滞后
LSTM：虽能处理长期依赖，但训练耗时长且对噪声敏感

CEEMDAN 原理：
通过自适应白噪声辅助，解决 EMD 的模态混叠问题
数学表达：$IMF_k = \frac{1}{N} \sum_{i=1}^N (E_k(x+\epsilon w_i) – E_{k-1}(x+\epsilon w_i))$
优势：自动确定本征模态函数 (IMF) 数量
VMD 优化：
将信号分解为带宽受限的模态分量
变分问题转化为：$\min_{{u_k},{\omega_k}} \left{\sum_k | \partial_t [(\delta(t) + \frac{j}{\pi t}) * u_k(t)] e^{-j\omega_k t} |_2^2 \right}$
关键参数：惩罚因子 α（建议 2000-5000）

时序特征提取：
膨胀因果卷积：$dilation_rate=2^{layer_index}$
感受野计算公式：$RF = 1 + 2\times(kernel_size-1)\times\sum_{i=0}^{L-1}2^i$
注意力机制：
多头注意力权重可视化：plt.imshow(attention_matrix.detach().numpy()[0])
头数选择经验：$heads = \lfloor \sqrt{d_{model}} \rfloor$

# 数据预处理
class SlidingWindowDataset(Dataset):
    def __init__(self, data, window_size=24):
        self.data = torch.FloatTensor(data)
        self.window_size = window_size

    def __len__(self):
        return len(self.data) - self.window_size

    def __getitem__(self, idx):
        x = self.data[idx:idx+self.window_size]
        y = self.data[idx+self.window_size]
        return x, y

# CEEMDAN-VMD 联合分解
from PyEMD import CEEMDAN
import vmdpy

def dual_decomposition(signal, CEEMDAN_kwargs={}, VMD_kwargs={"K":5}):
    ceemdan = CEEMDAN(**CEEMDAN_kwargs)
    imfs = ceemdan(signal)

    results = []
    for imf in imfs:
        u, _, _ = vmdpy.VMD(imf, **VMD_kwargs)
        results.extend(u)
    return torch.stack(results)

# TCN-Attention 模块
class TemporalBlock(nn.Module):
    def __init__(self, n_inputs, n_outputs, kernel_size, dilation):
        super().__init__()
        padding = (kernel_size-1) * dilation
        self.conv1 = weight_norm(nn.Conv1d(n_inputs, n_outputs, kernel_size,
                                   padding=padding, dilation=dilation))
        self.attn = nn.MultiheadAttention(n_outputs, num_heads=4)
        self.res = nn.Conv1d(n_inputs, n_outputs, 1) if n_inputs != n_outputs else None

    def forward(self, x):
        out = self.conv1(x)
        out = self.attn(out, out, out)[0]
        res = x if self.res is None else self.res(x)
        return F.relu(out + res)

from apex import amp
model, optimizer = amp.initialize(model, optimizer, opt_level="O1")
with amp.scale_loss(loss, optimizer) as scaled_loss:
    scaled_loss.backward()

early_stopping = EarlyStopping(patience=10, delta=0.01)
for epoch in range(100):
    train_loss = train_one_epoch()
    val_loss = validate()
    early_stopping(val_loss, model)
    if early_stopping.early_stop:
        break

模态过分割判定：
检查 IMF 的频谱是否重叠严重
计算各分量样本熵，差异应大于 0.2

显存优化策略：

# 梯度累积替代大 batch
for i, (inputs, targets) in enumerate(data_loader):
    outputs = model(inputs)
    loss = criterion(outputs, targets)
    loss = loss / 4  # 假设累积 4 次
    loss.backward()

    if (i+1) % 4 == 0:
        optimizer.step()
        optimizer.zero_grad()

在某化工设备温度预测任务中，与传统 LSTM 对比：