BiLSTM神经网络入门指南：从基础概念到文本分类实战

1次阅读

共计 2464 个字符，预计需要花费 7 分钟才能阅读完成。

在处理自然语言时，单向 LSTM 有个致命弱点：它只能从左到右阅读文本。想象一下读小说时如果只能看前半句，很多悬念就永远解不开了！比如这句话：

“ 尽管天气______，他们还是决定出门 ”

单向 LSTM 看到空白处时，只知道前面说 ” 尽管天气 ”，却看不到后面 ” 决定出门 ” 的线索。而人类会同时看前后文，瞬间明白该填 ” 不好 ” 这类词。这就是 BiLSTM 的价值——它用两个 LSTM 同时从左到右和从右到左扫描文本，像人类一样获得上下文全貌。

传统 LSTM 的计算流程（以遗忘门为例）：

f_t = σ(W_f·[h_{t-1}, x_t] + b_f)  # [1]

而 BiLSTM 可以看作两个 LSTM 的叠加，前向层计算 h_fwd，反向层计算 h_bwd，最终输出：

output = [h_fwd, h_bwd]  # [2]

变量说明：
– σ：sigmoid 激活函数
– W_f：遗忘门的权重矩阵
– h_{t-1}：上一时间步的隐藏状态
– x_t：当前输入

# 构建词表时特别处理变长序列
from torch.nn.utils.rnn import pad_sequence
texts = [torch.tensor([1,45,23]), torch.tensor([7,32])]  # 原始文本 ID
padded = pad_sequence(texts, batch_first=True)  # [[1,45,23],[7,32,0]]
lengths = torch.tensor([len(t) for t in texts])  # 记录实际长度[3,2]

class BiLSTMClassifier(nn.Module):
    def __init__(self, vocab_size=10000, embed_dim=128, hidden_dim=256):
        super().__init__()
        self.embed = nn.Embedding(vocab_size, embed_dim)
        self.dropout = nn.Dropout(0.5)  # 对抗过拟合

        # 关键！bidirectional=True 开启双向
        self.lstm = nn.LSTM(embed_dim, hidden_dim, 
                           bidirectional=True, batch_first=True)

        # 因为双向，输出维度要 x2
        self.fc = nn.Linear(hidden_dim*2, 2)  # 二分类

    def forward(self, x, lengths):
        # x 形状: [batch, seq_len]
        x = self.embed(x)  # [batch, seq_len, embed_dim]
        x = self.dropout(x)

        # 处理变长序列（大幅提升效率）packed = pack_padded_sequence(x, lengths, 
                                    batch_first=True, enforce_sorted=False)

        # 双向 LSTM 输出会自动拼接
        packed_out, (h_n, c_n) = self.lstm(packed)

        # 取最终状态（正向和反向最后一个 hidden state）h_n = torch.cat([h_n[-2], h_n[-1]], dim=1)  # [batch, hidden_dim*2]

        return self.fc(h_n)

# 初始化 hidden state 的小技巧
h0 = torch.zeros(2, batch_size, hidden_dim).to(device)  # 2 对应双向
c0 = torch.zeros_like(h0)

# 学习率设置经验值
optimizer = torch.optim.Adam(model.parameters(), lr=1e-3)
scheduler = torch.optim.lr_scheduler.StepLR(optimizer, step_size=5, gamma=0.1)

变长序列处理：
一定要先 pack_padded_sequence 再输入 LSTM
忘记设置 enforce_sorted=False 会导致数据混乱
参数量爆炸：
双向结构参数比单向多约 2 倍
解决方案：适当减小 hidden_dim（经验值取 128-256）
测试阶段陷阱：
预测时仍需传入 lengths 参数
batch_size= 1 时 hidden_state 形状要保持[2,1,hidden_dim]

模型	测试集准确率	训练时间(epoch=10)
LSTM	87.2%	25min
BiLSTM	89.6%	38min

超参数设置：
– batch_size=64
– hidden_dim=256
– dropout=0.5
– 词向量维度 =128

想进一步提升效果可以尝试：
1. 在 BiLSTM 后加注意力层（参考代码见下方）
2. 使用预训练词向量初始化 embedding 层
3. 结合 CNN 做 hybrid 模型

# 注意力机制实现示例
class Attention(nn.Module):
    def __init__(self, hidden_dim):
        super().__init__()
        self.attn = nn.Linear(hidden_dim*2, 1)  # 双向所以要 x2

    def forward(self, lstm_out):
        # lstm_out 形状: [batch, seq_len, hidden_dim*2]
        attn_weights = F.softmax(self.attn(lstm_out), dim=1)
        context = torch.sum(attn_weights * lstm_out, dim=1)
        return context  # [batch, hidden_dim*2]

经过实践发现，BiLSTM 在文本分类任务中比单向 LSTM 平均能提升 2 -3% 的准确率。虽然训练时间增加了约 50%，但对于短文本（如评论、微博）这种提升非常值得。建议新手先从基础的 LSTM 实现开始，理解了单向结构后再迁移到 BiLSTM，这样能更清楚双向机制带来的改进。

正文完