领域专属词向量嵌入在BiLSTM-CRF模型中的创新性实践与效果验证

1次阅读

共计 1704 个字符，预计需要花费 5 分钟才能阅读完成。

传统 BiLSTM-CRF 模型在通用领域表现优异，但在特定领域（如医疗、金融）面临词汇覆盖不足的问题。具体表现为：

通用词向量无法准确表征领域术语的语义（如医学缩写 ”ARDS” 在通用语料中频次极低）
领域特有的词形变化规律未被学习（如药品名 ”-mab” 后缀代表单克隆抗体）
跨领域同形异义词处理不佳（金融领域的 ”bull” 与动物术语含义不同）

数据准备：收集领域相关文本（如 PubMed 论文摘要、财经新闻）
预处理：保留领域特有符号（化学式、股票代码），不过度清洗缩写词
训练参数：建议使用 Gensim 的 Word2Vec，设置 window=5, min_count=3

加权拼接 ：将通用词向量（如 Glove）和领域向量按 0.3:0.7 比例拼接
动态门控 ：通过可学习权重自动调节两种向量贡献度

import torch
import torch.nn as nn

class HybridEmbedding(nn.Module):
    def __init__(self, general_dim, domain_dim):
        super().__init__()
        self.gate = nn.Linear(general_dim + domain_dim, 2)

    def forward(self, general_vec, domain_vec):
        # general_vec: [batch, seq_len, general_dim]
        # domain_vec: [batch, seq_len, domain_dim]
        gate_score = torch.softmax(self.gate(torch.cat([general_vec, domain_vec], dim=-1)), dim=-1)
        return gate_score[:,:,0:1] * general_vec + gate_score[:,:,1:2] * domain_vec

class BiLSTM_CRF(nn.Module):
    def __init__(self, general_embed, domain_embed, tag_size):
        super().__init__()
        self.hybrid = HybridEmbedding(general_embed.embedding_dim, 
                                    domain_embed.embedding_dim)
        self.lstm = nn.LSTM(
            input_size=general_embed.embedding_dim + domain_embed.embedding_dim,
            hidden_size=256,
            bidirectional=True)
        self.crf = CRF(tag_size)

    def forward(self, x):
        # x: [batch, seq_len]
        general = self.general_embed(x)
        domain = self.domain_embed(x)
        features = self.hybrid(general, domain)
        lstm_out, _ = self.lstm(features)
        return self.crf(lstm_out)

在医疗 NER 任务（BC5CDR 数据集）上的表现：