共计 1326 个字符，预计需要花费 4 分钟才能阅读完成。

背景介绍

循环神经网络（RNN）是处理序列数据的利器，比如自然语言处理、时间序列预测等任务。它能记住之前的信息，并用于当前的输出计算。

核心概念

RNN 的基本结构和数学模型

RNN 的核心思想是引入循环机制，使网络具有记忆能力。其数学模型可以表示为：

h_t = tanh(W_hh * h_{t-1} + W_xh * x_t + b_h)
y_t = W_hy * h_t + b_y

• h_t 是当前时刻的隐藏状态
• x_t 是当前时刻的输入
• W 系列是权重矩阵
• b 是偏置项

LSTM 的网络结构

LSTM 通过引入三个门控机制（输入门、遗忘门、输出门）来解决 RNN 的长期依赖问题：

1. 遗忘门 ：决定丢弃哪些信息
2. 输入门 ：决定更新哪些新信息
3. 输出门 ：决定输出哪些信息

实现细节

RNN 实现示例

import torch
import torch.nn as nn

class SimpleRNN(nn.Module):
    def __init__(self, input_size, hidden_size, output_size):
        super(SimpleRNN, self).__init__()
        self.hidden_size = hidden_size
        self.rnn = nn.RNN(input_size, hidden_size, batch_first=True)
        self.fc = nn.Linear(hidden_size, output_size)

    def forward(self, x):
        # x shape: (batch, seq_len, input_size)
        out, _ = self.rnn(x)
        out = self.fc(out[:, -1, :])  # 只取最后一个时间步
        return out

LSTM 实现示例

class LSTMModel(nn.Module):
    def __init__(self, input_size, hidden_size, output_size):
        super(LSTMModel, self).__init__()
        self.lstm = nn.LSTM(input_size, hidden_size, batch_first=True)
        self.fc = nn.Linear(hidden_size, output_size)

    def forward(self, x):
        out, (h_n, c_n) = self.lstm(x)
        out = self.fc(out[:, -1, :])
        return out

常见问题与解决方案

梯度消失问题

RNN 在反向传播时，梯度会随着时间步长指数级衰减，导致早期时间步的参数难以更新。

解决方案：
– 使用 LSTM 或 GRU 结构
– 梯度裁剪
– 合适的初始化方法

长期依赖问题

LSTM 通过细胞状态和门控机制，可以选择性地保留或遗忘信息，从而解决了长期依赖问题。

避坑指南

数据预处理

• 序列标准化 / 归一化
• 处理变长序列（使用 padding 和 mask）
• 适当的数据增强

超参数调优

• 学习率：从 1e- 3 到 1e- 5 尝试
• 隐藏层大小：32 到 512 之间
• 层数：1- 3 层通常足够

性能考量

思考题

1. 为什么 LSTM 的门控机制使用 sigmoid 函数而不是其他激活函数？
2. 在处理极长序列（如 1000+ 时间步）时，还有哪些架构可以考虑？
3. 如何平衡模型复杂度和训练效率？