深度学习基础实战：B站机器学习第二版第十章10.4循环神经网络(RNN)入门指南

1次阅读

共计 2037 个字符，预计需要花费 6 分钟才能阅读完成。

在处理时序数据（如文本、语音、股价）时，传统全连接网络存在两个致命缺陷：

输入长度固定，而时序数据往往是变长的
无法捕捉时间步之间的依赖关系

RNN 通过引入隐状态 $h_t$ 来解决这个问题，其计算公式为：
$$h_t = \sigma(W_{xh}x_t + W_{hh}h_{t-1} + b_h)$$
其中 $\sigma$ 通常为 tanh 激活函数。这种结构让网络具备 ” 记忆 ” 能力，适合处理前后关联的数据。

结构简单，仅包含单个 tanh 层
实际训练中容易出现梯度消失（小于 1 的梯度连乘会指数级缩小）
适用场景：短序列简单任务

通过三个门控机制解决梯度消失：

遗忘门：决定丢弃哪些历史信息
$$f_t = \sigma(W_f \cdot [h_{t-1}, x_t] + b_f)$$
输入门：确定新信息的存储位置
输出门：控制当前时刻的输出

实验数据显示，在超过 50 步的文本分类任务中，LSTM 比基础 RNN 准确率提升 27%。

LSTM 的简化版，将遗忘门和输入门合并为更新门：

参数比 LSTM 少 1 /3，训练速度更快
在小型数据集上表现往往更好

from torch.nn.utils.rnn import pad_sequence

# 原始文本转换为索引序列
texts = [[3, 15, 7], [9, 2], [4, 6, 8, 1]]  
# 填充到统一长度
padded = pad_sequence([torch.tensor(x) for x in texts], 
                     batch_first=True, padding_value=0)
print(padded)
# tensor([[3, 15,  7,  0],
#         [9,  2,  0,  0],
#         [4,  6,  8,  1]])

import torch.nn as nn

class TextRNN(nn.Module):
    def __init__(self, vocab_size=10000, embed_dim=128, 
                 hidden_dim=256, num_layers=2):
        super().__init__()
        self.embedding = nn.Embedding(vocab_size, embed_dim)

        # 使用双向 LSTM 增强特征提取
        self.rnn = nn.LSTM(
            input_size=embed_dim,
            hidden_size=hidden_dim,
            num_layers=num_layers,
            bidirectional=True,
            batch_first=True
        )
        self.fc = nn.Linear(hidden_dim*2, 2)  # 二分类任务

    def forward(self, x):
        x = self.embedding(x)  # [batch, seq_len] -> [batch, seq_len, embed_dim]
        out, _ = self.rnn(x)   # 输出维度[batch, seq_len, hidden_dim*2]
        return self.fc(out[:, -1, :])  # 取最后时刻的输出

# 梯度裁剪（防止梯度爆炸）torch.nn.utils.clip_grad_norm_(model.parameters(), max_norm=1.0)

# 使用 pack_padded_sequence 处理变长序列
from torch.nn.utils.rnn import pack_padded_sequence

lengths = [len(seq) for seq in texts]
packed_input = pack_padded_sequence(embeddings, lengths, 
                                  batch_first=True, enforce_sorted=False)

使用 pack_padded_sequence 可减少 30%-50% 的显存占用
设置 drop_last=True 避免最后一个 batch 尺寸不匹配
梯度累积：每累积 4 个小 batch 再更新参数，等效 batch_size 扩大 4 倍

参数	推荐值	调整策略
hidden_dim	256-512	每增加一倍，训练时间增加 1.8 倍
learning_rate	1e-3	配合 ReduceLROnPlateau 使用
dropout	0.2-0.5	层数越多 dropout 应越大