共计 2325 个字符，预计需要花费 6 分钟才能阅读完成。

1. 背景痛点：RNN 的梯度消失困境

传统 RNN 处理长序列时，其隐藏状态 $h_t$ 的计算方式为：
$$h_t = \sigma(W_h h_{t-1} + W_x x_t + b)$$
在反向传播时需计算梯度 $\frac{\partial h_t}{\partial h_{t-1}} = W_h^T \text{diag}(\sigma'(…))$，当时间步 $T$ 较大时，梯度需要连续相乘：
$$\frac{\partial L}{\partial h_1} = \prod_{t=2}^T \frac{\partial h_t}{\partial h_{t-1}} \frac{\partial L}{\partial h_T}$$
这会导致梯度指数级衰减（当 $W_h$ 特征值 <1）或爆炸（>1）。1994 年 Hochreiter 的论文 [1] 首次量化分析了该问题。

2. 技术对比：门控结构的进化

• 标准 RNN：单一 tanh 层，梯度路径无保护
• GRU：引入重置门和更新门，但只有一个状态变量
• LSTM：通过三个门控（遗忘 / 输入 / 输出）和细胞状态 $C_t$ 构建 ” 高速公路 ”，其梯度流动可表示为：
  $$\frac{\partial C_t}{\partial C_{t-1}} = f_t + \text{其他项}$$
  遗忘门 $f_t$ 允许梯度接近 1 的稳定传播

3. 核心实现：门控计算流程

3.1 门控机制数学表达

1. 遗忘门：决定丢弃哪些信息
   $$f_t = \sigma(W_f \cdot [h_{t-1}, x_t] + b_f)$$
2. 输入门：确定新信息存储
   $$i_t = \sigma(W_i \cdot [h_{t-1}, x_t] + b_i)$$
   $$\tilde{C}t = \tanh(W_C \cdot [h, x_t] + b_C)$$
3. 状态更新：
   $$C_t = f_t \circ C_{t-1} + i_t \circ \tilde{C}_t$$
4. 输出门：控制暴露内容
   $$o_t = \sigma(W_o \cdot [h_{t-1}, x_t] + b_o)$$
   $$h_t = o_t \circ \tanh(C_t)$$

3.2 PyTorch 手动实现

class LSTMCellManual(nn.Module):
    def __init__(self, input_size, hidden_size):
        super().__init__()
        # 合并所有门的权重计算（实际工程中建议分开初始化）self.weight_ih = Parameter(torch.randn(4 * hidden_size, input_size))
        self.weight_hh = Parameter(torch.randn(4 * hidden_size, hidden_size))
        self.bias = Parameter(torch.randn(4 * hidden_size))

    def forward(self, x, state):
        # x: (batch, input_size)
        # state: tuple(h: (batch, hidden_size), c: (batch, hidden_size))
        h_prev, c_prev = state

        # 合并计算门控（优化矩阵乘次数）gates = (x @ self.weight_ih.T + 
                 h_prev @ self.weight_hh.T + 
                 self.bias)  # (batch, 4*hidden_size)

        # 分割各门控
        i, f, g, o = gates.chunk(4, dim=1)  # 每部分(batch, hidden_size)

        # 门控激活
        i = torch.sigmoid(i)
        f = torch.sigmoid(f)
        o = torch.sigmoid(o)
        g = torch.tanh(g)

        # 更新细胞状态
        c_next = f * c_prev + i * g
        h_next = o * torch.tanh(c_next)

        return h_next, c_next

4. 实验验证

4.1 字符级语言建模

使用 PTB 数据集测试（Tesla V100 32GB 环境）：

4.2 门控激活可视化

• 遗忘门在标点位置显著激活（重置句子上下文）
• 输入门在名词短语出现时活跃

5. 生产建议

5.1 参数初始化

• 遗忘门偏置初始设为 1（参考[Jozefowicz 2015]）:

  torch.nn.init.constant_(lstm.bias_f, 1.0)

• 其他门使用 Xavier 均匀初始化

5.2 变长序列处理

packed = nn.utils.rnn.pack_padded_sequence(input, lengths, batch_first=True)
lstm_out, _ = lstm(packed)
output, _ = nn.utils.rnn.pad_packed_sequence(lstm_out)

5.3 梯度裁剪

torch.nn.utils.clip_grad_norm_(model.parameters(), max_norm=0.25)

6. 延伸思考

6.1 与注意力机制的关系

• 门控：局部时序选择（” 垂直 ” 信息流控制）
• 注意力：全局内容选择（” 水平 ” 跨位置关联）

6.2 改进挑战

尝试将遗忘门改为：
$$f_t = \sigma(W_f \cdot [h_{t-1}, x_t, C_{t-1}] + b_f)$$
观察在文本生成任务中是否能有更精细的记忆控制

参考文献：
[1] Hochreiter, S. (1991). Untersuchungen zu dynamischen neuronalen Netzen. Diploma thesis.
[2] Jozefowicz, R. (2015). An empirical exploration of recurrent network architectures.