循环神经网络实战：基于b站机器学习第二版10.4节的序列建模解决方案

1次阅读

共计 2182 个字符，预计需要花费 6 分钟才能阅读完成。

序列数据建模是机器学习中的经典问题，传统方法如马尔可夫模型和隐马尔可夫模型（HMM）往往难以捕捉长期依赖关系。循环神经网络（RNN, Recurrent Neural Network）通过引入隐状态机制，实现了对序列数据的记忆能力，成为处理时序数据的利器。

RNN 的核心在于隐状态的循环传递，其计算过程可表示为：
$$h_t = \sigma(W_{xh}x_t + W_{hh}h_{t-1} + b_h)$$
$$y_t = W_{hy}h_t + b_y$$
其中 $\sigma$ 为激活函数，$W$ 为权重矩阵，$b$ 为偏置项。

反向传播通过时间（BPTT, Backpropagation Through Time）算法是 RNN 训练的关键。该算法将 RNN 按时间步展开后进行梯度计算，但由于梯度需要跨越多个时间步传播，容易出现梯度消失或爆炸问题。

长短期记忆网络（LSTM, Long Short-Term Memory）通过引入门控机制解决了长期依赖问题。其核心公式如下：

遗忘门 控制历史信息的保留程度：
$$f_t = \sigma(W_f \cdot [h_{t-1}, x_t] + b_f)$$
输入门 决定新信息的存储：
$$i_t = \sigma(W_i \cdot [h_{t-1}, x_t] + b_i)$$
$$\tilde{C}t = \tanh(W_C \cdot [h, x_t] + b_C)$$
细胞状态更新：
$$C_t = f_t \odot C_{t-1} + i_t \odot \tilde{C}_t$$
输出门 控制隐状态输出：
$$o_t = \sigma(W_o \cdot [h_{t-1}, x_t] + b_o)$$
$$h_t = o_t \odot \tanh(C_t)$$

门控循环单元（GRU, Gated Recurrent Unit）是 LSTM 的简化版本，将遗忘门和输入门合并为更新门，减少了参数数量，在计算效率上通常比 LSTM 快 15-20%，但在处理超长序列时性能可能略逊于 LSTM。

以下代码展示了如何使用 PyTorch 实现基于 LSTM 的字符级文本生成：

import torch
import torch.nn as nn

class CharLSTM(nn.Module):
    def __init__(self, vocab_size, embed_dim, hidden_size):
        super().__init__()
        self.embed = nn.Embedding(vocab_size, embed_dim)
        self.lstm = nn.LSTM(embed_dim, hidden_size, batch_first=True)
        self.fc = nn.Linear(hidden_size, vocab_size)

    def forward(self, x, hidden):
        x = self.embed(x)
        out, hidden = self.lstm(x, hidden)
        out = self.fc(out)
        return out, hidden

# 梯度裁剪示例
optimizer = torch.optim.Adam(model.parameters(), lr=0.001)
loss_fn = nn.CrossEntropyLoss()

def train_step(batch):
    hidden = (torch.zeros(1, batch.size(0), hidden_size),
              torch.zeros(1, batch.size(0), hidden_size))
    model.zero_grad()
    output, _ = model(batch[:, :-1], hidden)
    loss = loss_fn(output.view(-1, vocab_size), batch[:, 1:].reshape(-1))
    loss.backward()
    torch.nn.utils.clip_grad_norm_(model.parameters(), 0.5)  # 梯度裁剪
    optimizer.step()
    return loss.item()

梯度监控：建议记录以下指标
梯度范数：grad_norm = torch.norm(torch.stack([torch.norm(p.grad) for p in model.parameters()]))
参数更新比例：update_ratio = learning_rate * grad_norm / param_norm
超参数搜索空间：
学习率：对数空间采样，如[1e-4, 5e-4, 1e-3]
隐藏层大小：根据内存限制选择[64, 128, 256]
dropout 率：对于 RNN 通常设为 0.2-0.5
模型量化部署 注意事项：
动态量化对 LSTM 支持较好，静态量化需要谨慎处理门控计算
部署时需注意序列长度对齐问题
考虑使用 ONNX Runtime 优化推理速度