共计 1752 个字符，预计需要花费 5 分钟才能阅读完成。

时序预测的业务挑战与模型选型

时序预测在金融（如股价预测）、IoT（设备故障预警）等场景中至关重要。传统方法如 ARIMA 依赖线性假设，难以处理非线性模式；单一 RNN 面临梯度消失问题，而 CNN 单独使用会忽略时间步间的长期依赖。

门控单元与卷积网络的优劣对比

1. RNN 变体效率分析
2. LSTM（长短期记忆）: 3 个门控结构（输入 / 遗忘 / 输出门），参数量大

3. GRU（门控循环单元）: 仅更新门和重置门（公式：$z_t = \sigma(W_z \cdot [h_{t-1}, x_t])$），比 LSTM 快 30% 且内存占用更低

4. CNN 的时序适配

5. 1D 卷积核沿时间轴滑动，kernel_size 决定感受野（如 size= 3 捕捉局部 3 步模式）
6. 多层级联实现特征抽象：浅层 CNN 提取局部趋势，深层捕获全局周期

混合模型实现详解

双向 GRU 层构建（PyTorch）

import torch.nn as nn

class BiGRU(nn.Module):
    def __init__(self, input_size: int, hidden_size: int, num_layers: int = 2):
        super().__init__()
        self.gru = nn.GRU(
            input_size=input_size,
            hidden_size=hidden_size,  # 建议设为输入尺寸的 2 /3
            num_layers=num_layers,
            bidirectional=True,  # 双向结构
            batch_first=True
        )

    def forward(self, x: torch.Tensor) -> torch.Tensor:
        try:
            output, _ = self.gru(x)
            return output
        except RuntimeError as e:
            if "CUDA out of memory" in str(e):
                print("显存不足，请减小 batch_size 或 hidden_size")
            raise

CNN 模块设计要点

• kernel_size 选择：通过网格搜索确定，常见值为 3 /5/7
  （特征图可视化示例）
• 残差连接代码：

class ResidualBlock(nn.Module):
    def __init__(self, in_channels: int):
        super().__init__()
        self.conv1 = nn.Conv1d(in_channels, in_channels, kernel_size=3, padding=1)
        self.relu = nn.ReLU()
        self.conv2 = nn.Conv1d(in_channels, in_channels, kernel_size=3, padding=1)

    def forward(self, x: torch.Tensor) -> torch.Tensor:
        residual = x
        out = self.relu(self.conv1(x))
        out = self.conv2(out)
        return self.relu(out + residual)  # 残差相加

实验验证与调优

ETTh1 数据集性能对比

显存监控代码：

torch.cuda.memory_allocated() / 1024**2  # 转换为 MB

关键调参经验

1. 变长序列处理
2. 使用 nn.utils.rnn.pack_padded_sequence 压缩填充值
3. 示例 mask 生成：

lengths = [len(seq) for seq in batch]  # 实际序列长度
mask = torch.arange(max(lengths))[None, :] < torch.tensor(lengths)[:, None]

1. 学习率与 dropout
2. 初始学习率建议 0.001，配合 dropout=0.3
3. 验证 loss 停滞时，尝试组合调整：
   • 学习率×0.5 + dropout+0.1
   • 学习率×0.2 + dropout-0.1

未来优化方向

1. 注意力机制融合
2. 在 GRU 输出后添加 Multi-Head Attention
3. 关键问题：如何平衡计算开销与长序列捕捉能力？
4. 多模态输入
5. 结合外部特征（如天气数据对电力负荷预测的影响）

通过本次实践，GRU-CNN 混合模型在保持较低计算成本的同时，显著提升了预测精度。读者可在此基础上继续探索更复杂的架构组合。