Bi-LSTM双向长短时循环神经网络入门指南：从理论到PyTorch实战

1次阅读

共计 1963 个字符，预计需要花费 5 分钟才能阅读完成。

在自然语言处理中，单向 LSTM 就像一个只能从左往右阅读的人。想象你在读这句话：

“ 这个产品虽然价格昂贵______”

单向 LSTM 读到空白处时，只能依赖前面的 ” 价格昂贵 ” 来预测，可能会猜 ” 但质量一般 ”。但如果它能看到后面的 ”______，但是物超所值 ”，理解就会完全不同。这就是 Bi-LSTM 的价值——同时获取过去和未来的上下文信息。

单向 LSTM 的输出计算：
$$h_t = \overrightarrow{LSTM}(x_t, h_{t-1})$$

Bi-LSTM 的输出则是前向和后向的拼接：
$$h_t = [\overrightarrow{LSTM}(x_t, h_{t-1}); \overleftarrow{LSTM}(x_t, h_{t+1})]$$

其中分号表示向量拼接，也可以替换为求和等其他操作。

import torch
import torch.nn as nn

class BiLSTMModel(nn.Module):
    def __init__(self, vocab_size, embed_dim, hidden_dim, num_classes):
        super().__init__()
        # 嵌入层（加载预训练词向量）self.embedding = nn.Embedding(vocab_size, embed_dim)

        # Bi-LSTM 核心层
        self.lstm = nn.LSTM(
            input_size=embed_dim,
            hidden_size=hidden_dim,
            num_layers=2,
            bidirectional=True,  # 关键参数！dropout=0.3
        )

        # 分类头（含 Attention 机制）self.attention = nn.Sequential(nn.Linear(hidden_dim*2, 128),  # 双向结果拼接后维度翻倍
            nn.Tanh(),
            nn.Linear(128, 1)
        )
        self.classifier = nn.Linear(hidden_dim*2, num_classes)

    def forward(self, x, lengths):
        # x: [batch_size, seq_len]
        x = self.embedding(x)  # [batch_size, seq_len, embed_dim]

        # 处理变长序列
        packed = nn.utils.rnn.pack_padded_sequence(x, lengths, batch_first=True, enforce_sorted=False)

        # LSTM 处理
        packed_out, (h_n, c_n) = self.lstm(packed)
        out, _ = nn.utils.rnn.pad_packed_sequence(packed_out, batch_first=True)

        # Attention 计算
        weights = torch.softmax(self.attention(out), dim=1)
        context = torch.sum(weights * out, dim=1)  # [batch_size, hidden_dim*2]

        return self.classifier(context)

变长序列处理：
始终先对样本按长度降序排序
使用 pack_padded_sequence 时设置enforce_sorted=False
恢复时用 pad_packed_sequence 获取对齐的输出
超参数经验值：
学习率：3e-4（Adam 优化器）
hidden_size：通常取 embed_dim 的 1 / 2 到 2 倍
batch_size：根据 GPU 显存设置（建议 32-128）

模型导出：

# 导出为 TorchScript
model.eval()
example_input = torch.randint(0, 10000, (1, 50))
traced_script = torch.jit.trace(model, (example_input, torch.tensor([50])))
traced_script.save("bi_lstm.pt")

在 IMDB 影评数据集上的测试结果：