长短期记忆网络(LSTM)实战：解决时序数据预测中的梯度消失难题

1次阅读

共计 1679 个字符，预计需要花费 5 分钟才能阅读完成。

在时序数据建模中，传统 RNN 面临的核心问题是梯度消失。比如预测未来 24 小时的温度变化时，模型需要记住前几天甚至几周前的天气模式。但普通 RNN 的隐状态更新公式 $h_t = \tanh(W_{xh}x_t + W_{hh}h_{t-1} + b_h)$ 会导致梯度在反向传播时呈指数级衰减，使得早期时间步的权重几乎得不到更新。

更麻烦的是，现实中的时序数据往往具有：

非平稳性：统计特性随时间变化（如节假日销量突变）
多周期成分：同时存在日周期、周周期、年周期等叠加波动

相比传统 RNN，LSTM 通过门控机制实现选择性记忆。其核心结构包含：

遗忘门：$f_t = \sigma(W_f \cdot [h_{t-1}, x_t] + b_f)$ 决定丢弃多少历史信息
输入门：$i_t = \sigma(W_i \cdot [h_{t-1}, x_t] + b_i)$ 控制新信息的录入比例
输出门：$o_t = \sigma(W_o \cdot [h_{t-1}, x_t] + b_o)$ 调节当前状态的输出强度

与 GRU（只有更新门和重置门）相比，LSTM 的分离式门控更擅长处理极端长序列；而 TCN 虽然通过空洞卷积扩大感受野，但无法动态调整记忆强度。

# 使用 MinMaxScaler 将数据压缩到 [0,1] 区间
scaler = MinMaxScaler()
scaled_data = scaler.fit_transform(raw_data.reshape(-1, 1))

def create_dataset(data, time_steps=24):
    X, y = [], []
    for i in range(len(data)-time_steps-1):
        # 每个样本包含 time_steps 个历史点
        X.append(data[i:(i+time_steps)])
        # 预测下一个时间点
        y.append(data[i + time_steps])
    return torch.FloatTensor(X), torch.FloatTensor(y)

class HybridLoss(nn.Module):
    def __init__(self, naive_error):
        super().__init__()
        self.naive_error = naive_error  # 基准模型误差

    def forward(self, y_pred, y_true):
        mae = torch.mean(torch.abs(y_pred - y_true))
        mase = mae / self.naive_error
        return 0.7*mase + 0.3*mae

批次归一化：LSTM 层间应使用 LayerNorm 而非 BatchNorm，因为时序数据的批次统计量不稳定
```
self.layernorm = nn.LayerNorm(hidden_size)
```
Dropout 放置：仅在 LSTM 层之间使用 Dropout（PyTorch 的 LSTM 自带 dropout 参数），输出层前禁用
学习率策略：
初始学习率设为 0.001
当验证损失 3 轮不下降时触发 ReduceLROnPlateau
梯度裁剪阈值设为 1.0