LSTM长短期记忆网络：从1997年诞生到解决RNN长期记忆问题的技术演进

1次阅读

共计 2015 个字符，预计需要花费 6 分钟才能阅读完成。

传统 RNN 通过循环连接处理时序数据，其隐藏状态 $h_t$ 的计算可表示为：
$$h_t = \sigma(W_h h_{t-1} + W_x x_t + b)$$
但在反向传播时需计算损失函数对参数的梯度，当时间步 $T$ 较大时会出现连乘效应：
$$\frac{\partial h_T}{\partial h_1} = \prod_{t=2}^T \frac{\partial h_t}{\partial h_{t-1}}$$

梯度消失问题：当导数 $\frac{\partial h_t}{\partial h_{t-1}} < 1$ 时，梯度呈指数衰减，导致早期时间步的参数几乎不更新
梯度爆炸问题：当导数 $\frac{\partial h_t}{\partial h_{t-1}} > 1$ 时，梯度呈指数增长，引发数值不稳定
传统解决方案局限：截断 BPTT 仅缓解但未根治问题，手工设计时间窗口难以适应不同序列长度

1997 年原始 LSTM（Hochreiter & Schmidhuber）
引入细胞状态 $C_t$ 作为 ” 记忆通道 ”
三个门控单元：输入门、输出门、遗忘门
初始版本未包含 peephole 连接
2000 年改进 LSTM（Gers et al.）
添加遗忘门偏置（初始值通常设为 1）
引入 peephole 连接，允许门控查看细胞状态
2014 年 GRU 简化版（Cho et al.）
合并遗忘门与输入门为更新门
耦合细胞状态与隐藏状态
参数减少 33% 但性能相近

遗忘门 决定保留多少旧记忆：
$$f_t = \sigma(W_f \cdot [h_{t-1}, x_t] + b_f)$$

输入门 控制新信息流入：
$$
\begin{cases}
i_t = \sigma(W_i \cdot [h_{t-1}, x_t] + b_i) \
\tilde{C}t = \tanh(W_C \cdot [h, x_t] + b_C)
\end{cases}
$$

细胞状态更新：
$$C_t = f_t \odot C_{t-1} + i_t \odot \tilde{C}_t$$

输出门 调控最终输出：
$$
\begin{cases}
o_t = \sigma(W_o \cdot [h_{t-1}, x_t] + b_o) \
h_t = o_t \odot \tanh(C_t)
\end{cases}
$$

import torch
import torch.nn as nn

class LSTMModel(nn.Module):
    def __init__(self, vocab_size, embed_dim, hidden_size, num_layers):
        super().__init__()
        self.embedding = nn.Embedding(vocab_size, embed_dim)
        # hidden_size: 每层 LSTM 单元的数量
        # num_layers: 堆叠的 LSTM 层数
        self.lstm = nn.LSTM(embed_dim, hidden_size, num_layers, batch_first=True)
        self.fc = nn.Linear(hidden_size, vocab_size)

    def forward(self, x, hidden):
        x = self.embedding(x)  # (batch, seq_len) -> (batch, seq_len, embed_dim)
        out, hidden = self.lstm(x, hidden)
        out = self.fc(out[:, -1, :])  # 只取最后一个时间步
        return out, hidden

在 Penn Treebank 语言建模任务上的表现：