领域专属词向量嵌入在BiLSTM-CRF模型中的创新实践与效果验证

1次阅读

共计 1379 个字符，预计需要花费 4 分钟才能阅读完成。

做医疗病历的实体识别时，发现通用词向量把 ” 二甲双胍 ” 和 ” 葡萄糖 ” 的相似度计算为 0.2（实际都是糖尿病相关药物），这就是典型语义缺失。领域词向量的核心价值在于：

专业术语向量距离更合理（” 心梗 ” 和 ” 心肌梗死 ” 在医疗词向量中余弦相似度可达 0.8）
领域 OOV 词减少（医学文本中专业缩写覆盖率提升 37%）
上下文表征更准确（金融领域 ” 多头 ” 不再指向动物）

在 CLUE- 医药子集上的测试结果：

词向量类型	Precision	Recall	F1
通用中文词向量	72.3	68.5	70.3
医学领域词向量	78.6	76.2	77.4

推荐使用 fastText 处理领域文本：

语料清洗：保留 PDF 转文本时的化学式（如 C6H12O6）、专业符号
参数建议：
维度选择 256（实验显示超过 300 维会显著降低推理速度）
使用 subword 特征处理专业复合词

# fastText 训练示例
import fasttext

model = fasttext.train_unsupervised(
    input="medical_corpus.txt",
    model='skipgram',
    dim=256,
    minCount=5  # 专业术语出现频率低
)
model.save_model("medical_emb.bin")

BiLSTM-CRF 的嵌入层改造策略：

静态模式（适合小数据）：冻结词向量参数
动态模式（数据量 >1 万条）：设置 0.1 的学习率微调

# PyTorch 嵌入层配置
class BiLSTM_CRF(nn.Module):
    def __init__(self, embed_path):
        super().__init__()
        # 加载预训练词向量
        self.embedding = nn.Embedding.from_pretrained(load_pretrained_emb(embed_path), 
            freeze=False  # 是否冻结参数
        )
        self.lstm = nn.LSTM(
            input_size=256,
            hidden_size=128,
            bidirectional=True
        )
        self.crf = CRF(num_tags)

当领域文本不足 1MB 时：