解密AI问答系统：循环神经网络(RNN)的核心原理与实战优化

1次阅读

共计 1891 个字符，预计需要花费 5 分钟才能阅读完成。

传统 RNN 的结构可以看作是对全连接网络的时序展开。其核心计算公式为：

h_t = tanh(W_{hh}h_{t-1} + W_{xh}x_t + b_h)

时间步展开：每个时间步共享同一组参数(W_{hh}, W_{xh})
隐藏状态：h_t 作为网络记忆单元，理论上应保存历史信息
梯度计算：通过 BPTT（Backpropagation Through Time）算法更新参数

三个门控单元的结构：

i_t = σ(W_{xi}x_t + W_{hi}h_{t-1} + b_i)  # 输入门
f_t = σ(W_{xf}x_t + W_{hf}h_{t-1} + b_f)  # 遗忘门
o_t = σ(W_{xo}x_t + W_{ho}h_{t-1} + b_o)  # 输出门

细胞状态：引入 C_t 作为长期记忆通道
门控机制：选择性遗忘和记忆更新

简化版 LSTM 只有两个门：

z_t = σ(W_{xz}x_t + W_{hz}h_{t-1} + b_z)  # 更新门
r_t = σ(W_{xr}x_t + W_{hr}h_{t-1} + b_r)  # 重置门

参数更少：比 LSTM 少 1 / 3 参数，训练更快
效果相当：在多数任务中表现接近 LSTM

使用 Cornell Movie Dialogs 数据集：

from torchtext.legacy import data

TEXT = data.Field(tokenize='spacy', lower=True)
LABEL = data.LabelField(dtype=torch.float)

train_data, test_data = datasets.IMDB.splits(TEXT, LABEL)

GRU 问答模型示例：

class QAModel(nn.Module):
    def __init__(self, vocab_size, embedding_dim, hidden_dim):
        super().__init__()
        self.embedding = nn.Embedding(vocab_size, embedding_dim)
        self.rnn = nn.GRU(embedding_dim, hidden_dim, bidirectional=True)
        self.fc = nn.Linear(hidden_dim*2, 1)

    def forward(self, text):
        embedded = self.embedding(text)
        outputs, hidden = self.rnn(embedded)
        return self.fc(hidden.squeeze(0))

关键超参数设置：

学习率：初始建议 0.001，配合 ReduceLROnPlateau
Batch Size：根据 GPU 显存选择 32-128
梯度裁剪：nn.utils.clip_grad_norm_(model.parameters(), max_norm=1)

动态批处理：使用 BucketingIterator 自动填充
混合精度：torch.cuda.amp.autocast()

硬件性能对比（RTX 3090 vs T4）：

模型类型	吞吐量（query/sec）	延迟(ms)
GRU	3200	2.1
LSTM	2800	2.8

class Attention(nn.Module):
    def __init__(self, hidden_dim):
        super().__init__()
        self.attn = nn.Linear(hidden_dim*2, hidden_dim)

    def forward(self, encoder_outputs):
        energy = torch.tanh(self.attn(encoder_outputs))
        return F.softmax(energy, dim=1)