LSTM 长短期记忆网络：从 1997 年诞生到解决 RNN 长期记忆问题的技术演进

1次阅读

共计 1872 个字符，预计需要花费 5 分钟才能阅读完成。

递归神经网络（RNN）在处理时序数据时，理论上可以通过循环连接记住之前的信息。但在实际应用中，当序列长度增加时，RNN 面临严重的梯度消失问题：

梯度消失的本质 ：误差反向传播时，梯度需要通过时间步连续相乘。当梯度值小于 1 时，经过多个时间步后梯度会指数级衰减，导致早期时间步的参数几乎无法更新。
长期依赖失效 ：例如在文本生成任务中，RNN 难以记住段落开头的关键信息，导致后续生成内容偏离主题。
实验数据佐证 ：在字符级语言建模任务中，当序列长度超过 50 个字符时，传统 RNN 的困惑度（Perplexity）会急剧上升 30% 以上。

LSTM 通过三扇精妙的门结构解决了上述问题，其核心组件如下图所示（示意图描述）：

[输入] → [遗忘门] → [记忆单元] → [输出门] → [预测]
          ↑      ↑         ↑
       [输入门] [细胞状态] [输出门]

遗忘门（Forget Gate）：
计算公式：f_t = σ(W_f·[h_{t-1}, x_t] + b_f)
作用：决定从细胞状态中丢弃哪些信息（0 表示完全遗忘，1 表示完全保留）
输入门（Input Gate）：
包含两部分：
- i_t = σ(W_i·[h_{t-1}, x_t] + b_i)（决定更新哪些值）
- C̃t = tanh(W_C·[h, x_t] + b_C)（候选新值）
输出门（Output Gate）：
o_t = σ(W_o·[h_{t-1}, x_t] + b_o)
h_t = o_t * tanh(C_t)（最终输出）

以下是符合生产规范的 LSTM 实现示例，重点展示了层归一化（LayerNorm）等优化技巧：

import torch
import torch.nn as nn

class EnhancedLSTM(nn.Module):
    def __init__(self, input_size, hidden_size, num_layers=2):
        super().__init__()
        self.lstm = nn.LSTM(
            input_size=input_size,
            hidden_size=hidden_size,
            num_layers=num_layers,
            batch_first=True,
            dropout=0.2 if num_layers > 1 else 0
        )
        # 层归一化提升训练稳定性
        self.ln = nn.LayerNorm(hidden_size) 

    def forward(self, x):
        # x 形状: (batch_size, seq_len, input_size)
        out, (h_n, c_n) = self.lstm(x)

        # 对最后一个时间步的输出做归一化
        last_out = self.ln(out[:, -1, :])
        return last_out

关键实现细节：