循环神经网络实战：从零构建文本序列预测模型的关键维度解析

1次阅读

共计 2779 个字符，预计需要花费 7 分钟才能阅读完成。

字符级语言模型在日常应用中随处可见，比如手机输入法根据你已输入的字符预测下一个可能出现的字母或汉字，或者自动补全代码的编程工具。这类场景的核心就是让模型学会从历史字符序列中捕捉规律，而循环神经网络（RNN）正是处理这种序列数据的利器。今天我们就从维度设计这个关键角度，一步步拆解如何用 PyTorch 实现一个简单的字符级预测模型。

处理文本数据时，首先需要将字符转换为模型能理解的数字形式。常见的有两种方法：

One-hot 编码 ：假设我们共有vocab_size 个不同的字符，每个字符用一个长度为 vocab_size 的向量表示，其中只有对应字符索引位置为 1，其他全为 0。例如字符 ’a’ 在字母表索引 0 的位置，其 one-hot 向量就是[1, 0, 0, ..., 0]。
Embedding 嵌入：通过一个可学习的查找表将每个字符映射到固定长度的稠密向量。相比于 one-hot 的高维稀疏，嵌入通常维度更低（如 128 维），且能捕捉字符间的语义关系。

举个例子，如果我们有 100 个不同的字符（vocab_size=100），使用 one-hot 编码每个字符就是 100 维向量，而嵌入层可能只需要 16 或 32 维。

构建 RNN 模型时，需要特别注意各层的维度匹配：

输入层维度 ：假设我们每次输入一个长度为seq_length 的字符序列，每个字符用 embedding_dim 维向量表示，那么输入张量形状为 (batch_size, seq_length, embedding_dim)。如果使用 one-hot，embedding_dim 就等于vocab_size。
隐藏层维度：RNN 的核心是隐藏状态hidden_dim，它决定了模型记忆信息的能力。较小的hidden_dim（如 64）训练更快但可能欠拟合，较大的值（如 256）能捕捉更复杂模式但需要更多数据和计算资源。
输出层维度 ：RNN 每一步的输出需要映射回字符空间，因此输出层是一个线性变换，将hidden_dim 转换为 vocab_size 维，再通过 softmax 得到每个字符的概率分布。

下面是一个完整的字符级 RNN 实现，关键步骤都添加了维度注释：

import torch
import torch.nn as nn

# 数据预处理：构建字符到索引的映射
chars = list("abcdefghijklmnopqrstuvwxyz")
vocab_size = len(chars)
char_to_idx = {ch:i for i,ch in enumerate(chars)}

# 网络定义
class CharRNN(nn.Module):
    def __init__(self, vocab_size, embedding_dim=16, hidden_dim=128):
        super().__init__()
        self.embedding = nn.Embedding(vocab_size, embedding_dim)
        self.rnn = nn.RNN(embedding_dim, hidden_dim, batch_first=True)
        self.fc = nn.Linear(hidden_dim, vocab_size)

    def forward(self, x, hidden):
        # x 形状: (batch_size, seq_length)
        x = self.embedding(x)  # 输出: (batch_size, seq_length, embedding_dim)
        out, hidden = self.rnn(x, hidden)  # out 形状: (batch_size, seq_length, hidden_dim)
        out = self.fc(out)  # 输出: (batch_size, seq_length, vocab_size)
        return out, hidden

# 初始化模型
model = CharRNN(vocab_size)
criterion = nn.CrossEntropyLoss()
optimizer = torch.optim.Adam(model.parameters())

# 模拟训练数据 (实际使用时需实现数据加载逻辑)
batch_size, seq_length = 4, 10
input_seq = torch.randint(0, vocab_size, (batch_size, seq_length))
target_seq = torch.randint(0, vocab_size, (batch_size, seq_length))

# 训练循环
hidden = None  # 初始隐藏状态
for epoch in range(100):
    optimizer.zero_grad()
    output, hidden = model(input_seq, hidden)
    # 计算损失时需要将输出调整为 (batch_size*seq_length, vocab_size)
    # 目标调整为 (batch_size*seq_length)
    loss = criterion(output.view(-1, vocab_size), target_seq.view(-1))
    loss.backward()
    optimizer.step()

在实践过程中，有几个关键点容易出错：

批量训练时的 padding 处理 ：真实数据中序列长度可能不一致，需要统一填充(pad) 到相同长度。PyTorch 的 pack_padded_sequence 和pad_packed_sequence能高效处理这种情况。
梯度消失问题 ：基础 RNN 在长序列上容易梯度消失，改用 LSTM 或 GRU 能显著改善。只需将nn.RNN 替换为nn.LSTM，它们的维度设计是兼容的。
输出多样性控制：直接取 softmax 最大值会导致生成过于保守。引入 temperature 参数（缩放 logits）可以调节生成的随机性：

def sample_with_temperature(logits, temperature=1.0):
    logits = logits / temperature
    probs = torch.softmax(logits, dim=-1)
    return torch.multinomial(probs, 1)

完成基础实现后，可以进一步探索：