从零开始理解BiGRU：双向门控循环单元的原理与实践

1次阅读

没有评论

共计 1234 个字符，预计需要花费 4 分钟才能阅读完成。

在自然语言处理中，传统的 RNN（循环神经网络）在处理长序列时容易遇到梯度消失或梯度爆炸的问题。这会导致模型难以学习到长距离的依赖关系。

GRU（门控循环单元）通过引入更新门和重置门机制，较好地解决了这个问题。而 BiGRU 则进一步扩展了这个思路，让信息能够双向流动。

GRU 的核心在于两个门控：

更新门：决定有多少过去的信息需要保留
重置门：决定有多少过去的信息需要遗忘

这种机制让 GRU 能够更好地捕捉长距离依赖关系，同时避免了梯度消失问题。

单向 GRU 只能从左到右处理序列，这意味着它只能利用 ” 过去 ” 的信息。而 BiGRU 则包含两个 GRU 层：

前向 GRU：按正常顺序处理序列
反向 GRU：按逆序处理序列

然后将两个方向的输出进行合并（通常是拼接），这样模型就能同时利用过去和未来的上下文信息。

import torch
import torch.nn as nn

class BiGRU(nn.Module):
    def __init__(self, vocab_size, embedding_dim, hidden_dim, output_dim):
        super().__init__()
        self.embedding = nn.Embedding(vocab_size, embedding_dim)
        self.gru = nn.GRU(embedding_dim, hidden_dim, bidirectional=True)
        self.fc = nn.Linear(hidden_dim * 2, output_dim)  # 双向所以 hidden_dim 乘以 2

    def forward(self, text):
        embedded = self.embedding(text)
        output, hidden = self.gru(embedded)
        # 合并双向输出
        hidden = torch.cat((hidden[-2,:,:], hidden[-1,:,:]), dim=1)
        return self.fc(hidden)

在实际文本分类任务中，BiGRU 通常会比单向 GRU 获得更高的准确率，特别是在需要理解上下文的任务中。例如：