基于循环神经网络的AI问答系统：原理剖析与工程实践

1次阅读

共计 1857 个字符，预计需要花费 5 分钟才能阅读完成。

传统 NLP 模型在处理问答任务时，尤其是面对长文本序列时，常常会遇到两个核心问题：

上下文遗忘：传统的词袋模型或浅层神经网络难以捕捉长距离依赖关系，导致模型在理解复杂问题时容易丢失关键上下文信息。
梯度消失：在反向传播过程中，梯度随着时间步的增加而指数级衰减，使得模型难以学习长期依赖关系。

这些问题严重限制了问答系统的性能，尤其是在需要理解多轮对话或长文档时。

循环神经网络（RNN）通过引入隐藏状态来捕捉序列信息，其基本公式为：

h_t = σ(W_hh * h_{t-1} + W_xh * x_t + b_h)

其中 h_t 是当前时刻的隐藏状态，x_t是当前输入，σ是激活函数。

LSTM 通过引入三个门控机制（输入门、遗忘门、输出门）来解决梯度消失问题：

f_t = σ(W_f * [h_{t-1}, x_t] + b_f)
i_t = σ(W_i * [h_{t-1}, x_t] + b_i)
o_t = σ(W_o * [h_{t-1}, x_t] + b_o)

GRU 是 LSTM 的简化版，只有两个门（更新门和重置门），计算效率更高：

z_t = σ(W_z * [h_{t-1}, x_t] + b_z)
r_t = σ(W_r * [h_{t-1}, x_t] + b_r)

关键结论：LSTM 和 GRU 通过门控机制有效缓解了长期依赖问题，是问答系统的理想选择。

import torch
import torch.nn as nn

# 加载预训练词向量
embedding = nn.Embedding.from_pretrained(torch.load('pretrained_embeddings.pt'))

class BiLSTM(nn.Module):
    def __init__(self, input_size, hidden_size):
        super(BiLSTM, self).__init__()
        self.lstm = nn.LSTM(input_size, hidden_size, bidirectional=True, batch_first=True)

    def forward(self, x):
        # x 的形状：(batch_size, seq_len, input_size)
        output, (h_n, c_n) = self.lstm(x)
        return output

class Attention(nn.Module):
    def __init__(self, hidden_size):
        super(Attention, self).__init__()
        self.attention = nn.Linear(hidden_size * 2, 1)

    def forward(self, lstm_output):
        # lstm_output 的形状：(batch_size, seq_len, hidden_size * 2)
        attention_weights = torch.softmax(self.attention(lstm_output), dim=1)
        context_vector = torch.sum(attention_weights * lstm_output, dim=1)
        return context_vector