循环神经网络（RNN）长序列建模实战：从梯度消失到LSTM架构演进

1次阅读

共计 1878 个字符，预计需要花费 5 分钟才能阅读完成。

在机器翻译任务中，传统 RNN 面临的核心问题是：当处理长句子时（如超过 30 个词），模型对句首信息的记忆能力急剧下降。以下是具体表现：

梯度消失实证：当反向传播误差通过时间步传播时，梯度按权重矩阵连乘，导致早期时间步的梯度趋近于零。例如计算第 t 步的梯度时：

$$\frac{\partial L}{\partial W} = \sum_{k=1}^{t}\frac{\partial L}{\partial h_t}\prod_{i=k+1}^{t}\frac{\partial h_i}{\partial h_{i-1}}\frac{\partial h_k}{\partial W}$$

当 $\frac{\partial h_i}{\partial h_{i-1}}$ 的 L2 范数小于 1 时，连乘结果会指数级衰减。

序列截断问题：实践中常采用固定窗口截断序列，但翻译任务中句首的主语信息对句尾的谓语生成至关重要。

遗忘门(Forget Gate)：决定保留多少上一时刻记忆
$$f_t = \sigma(W_f \cdot [h_{t-1}, x_t] + b_f)$$
输入门(Input Gate)：控制新信息的写入
$$i_t = \sigma(W_i \cdot [h_{t-1}, x_t] + b_i)$$
$$\tilde{C}t = \tanh(W_C \cdot [h, x_t] + b_C)$$
输出门(Output Gate)：调节记忆的读取强度
$$o_t = \sigma(W_o \cdot [h_{t-1}, x_t] + b_o)$$
$$h_t = o_t * \tanh(C_t)$$

更新门(Update Gate)：融合新旧状态
$$z_t = \sigma(W_z \cdot [h_{t-1}, x_t] + b_z)$$
重置门(Reset Gate)：控制历史信息影响
$$r_t = \sigma(W_r \cdot [h_{t-1}, x_t] + b_r)$$
$$h_t = (1-z_t)h_{t-1} + z_t\tilde{h}_t$$

class CustomLSTM(nn.Module):
    def __init__(self, input_size, hidden_size, num_layers=1):
        super().__init__()
        self.lstm = nn.LSTM(
            input_size=input_size,
            hidden_size=hidden_size,
            num_layers=num_layers,
            # 启用 CuDNN 优化但牺牲可解释性
            torch.backends.cudnn.enabled=True,
            # 处理变长序列必须设置为 False
            batch_first=True
        )

    def forward(self, x, lengths):
        # 序列 padding 处理
        packed = nn.utils.rnn.pack_padded_sequence(x, lengths.cpu(), 
            batch_first=True, enforce_sorted=False
        )

        # 梯度裁剪(阈值设为 5.0)
        torch.nn.utils.clip_grad_norm_(self.parameters(), 5.0)

        output, (hn, cn) = self.lstm(packed)
        # 恢复 padding 结构
        output, _ = nn.utils.rnn.pad_packed_sequence(output, batch_first=True)
        return output