循环神经网络(RNN)与长短时记忆(LSTM)实战：解决序列建模中的梯度消失问题

1次阅读

共计 2250 个字符，预计需要花费 6 分钟才能阅读完成。

在股票价格预测任务中，传统 RNN 模型常出现预测结果滞后真实值 3 - 5 天的现象。通过反向传播算法分析发现，当时间步超过 20 步时，梯度范数会衰减至初始值的 $10^{-6}$ 以下，这就是典型的梯度消失问题。其数学本质在于：

$\frac{\partial h_t}{\partial h_{t-1}} = W^T \text{diag}(\sigma'(W h_{t-1} + U x_t + b))$

在反向传播时需要连续乘以该雅可比矩阵，当 $\sigma'(\cdot)$（通常为 tanh 导数）和权重矩阵 $W$ 的特征值均小于 1 时，梯度呈指数级衰减。

graph LR
  subgraph RNN
    A[h_t-1] --> B[tanh]
    C[x_t] --> B
    B --> D[h_t]
  end

  subgraph LSTM
    E[h_t-1] --> F[遗忘门]
    E --> G[输入门]
    E --> H[输出门]
    I[c_t-1] --> F
    J[x_t] --> F
    J --> G
    J --> H
    F --> K[c_t]
    G --> K
    H --> L[h_t]
    K --> L
  end

遗忘门 控制历史记忆的保留程度：
$f_t = \sigma(W_f \cdot [h_{t-1}, x_t] + b_f)$
输入门 调节新记忆的写入强度：
$i_t = \sigma(W_i \cdot [h_{t-1}, x_t] + b_i)$
$\tilde{C}t = \tanh(W_C \cdot [h, x_t] + b_C)$
细胞状态更新 实现信息流动：
$C_t = f_t \odot C_{t-1} + i_t \odot \tilde{C}_t$
输出门 决定当前时刻的暴露内容：
$o_t = \sigma(W_o \cdot [h_{t-1}, x_t] + b_o)$
$h_t = o_t \odot \tanh(C_t)$

import torch
import torch.nn as nn

class LSTMModel(nn.Module):
    def __init__(self, input_dim, hidden_dim, layer_num, dropout=0.2):
        super().__init__()
        self.lstm = nn.LSTM(
            input_size=input_dim,
            hidden_size=hidden_dim,
            num_layers=layer_num,
            dropout=dropout if layer_num > 1 else 0,  # 多层时生效
            batch_first=True
        )
        self.fc = nn.Linear(hidden_dim, 1)

    def forward(self, x, init_states=None):
        # x 形状: (batch_size, seq_len, input_dim)
        batch_size = x.size(0)

        if init_states is None:
            h0 = torch.zeros(self.lstm.num_layers, batch_size, self.lstm.hidden_size).to(x.device)
            c0 = torch.zeros_like(h0)
        else:
            h0, c0 = init_states

        # lstm_out 形状: (batch_size, seq_len, hidden_dim)
        lstm_out, (hn, cn) = self.lstm(x, (h0, c0))

        # 只取最后一个时间步输出
        output = self.fc(lstm_out[:, -1, :])
        return output, (hn, cn)

使用 torch.nn.utils.rnn.pad_sequence 处理变长序列
创建等长的 mask 矩阵标记有效数据位置

反向传播时需传入 packed_sequence 对象：

from torch.nn.utils.rnn import pack_padded_sequence

lengths = [len(seq) for seq in batch]  # 原始序列长度
padded_seq = pad_sequence(batch, batch_first=True)
packed_seq = pack_padded_sequence(padded_seq, lengths, batch_first=True, enforce_sorted=False)

初始学习率建议设为 0.001，配合 ReduceLROnPlateau 调度器
梯度裁剪阈值设为 1.0-5.0 之间
隐藏层维度通常取输入特征的 2 - 4 倍

torch.backends.cudnn.enabled = True
torch.backends.cudnn.benchmark = True  # 自动寻找最优卷积算法
model = LSTMModel(...).cuda()

quantized_model = torch.quantization.quantize_dynamic(
    model,
    {nn.LSTM, nn.Linear},
    dtype=torch.qint8
)
torch.jit.save(torch.jit.script(quantized_model), "lstm_quantized.pt")

思考题解决方案框架：
1. 使用 3D CNN 提取视频帧特征
2. 将特征序列输入 Bi-LSTM
3. 采用 attention 机制聚合关键帧信息

推荐实践数据集：NASDAQ Stock Market Dataset

正文完