BERT预训练模型在NER任务中的实战应用与优化策略

1次阅读

没有评论

共计 2528 个字符，预计需要花费 7 分钟才能阅读完成。

命名实体识别（NER）是自然语言处理中的基础任务，目的是识别文本中的人名、地名、机构名等实体。传统方法如 CRF、BiLSTM-CRF 虽然在特定领域表现尚可，但存在以下问题：

依赖大量标注数据，泛化能力有限
难以捕捉长距离依赖关系
对一词多义现象处理不佳

BERT 通过 Transformer 架构和预训练机制，天然具备解决这些痛点的优势：

上下文双向编码能力，完美适配实体边界识别
预训练获得的语言知识大幅减少对标注数据量的需求
子词切分 (tokenization) 缓解未登录词问题

标准 BERT 模型通过 12/24 层 Transformer 堆叠，每层都包含自注意力机制。对于 NER 任务，我们主要利用以下特性：

最后一层隐藏状态作为字符级表示（对于中文）
[CLS]标记可用于句子分类任务
序列标注任务直接使用各 token 对应的输出向量

层冻结：先冻结所有层只训练顶层，再逐步解冻下层
差分学习率：顶层使用较大 lr(如 5e-5)，底层较小 lr(如 1e-6)
权重衰减：推荐 0.01 防止过拟合

少样本学习：
使用 prompt tuning 技术
基于原型网络 (prototypical network) 的微调
数据增强：
实体替换：同类型实体互换（如不同人名）
回译增强：中 -> 英 -> 中生成变体

import torch
from transformers import BertTokenizer, BertForTokenClassification

# 初始化
tokenizer = BertTokenizer.from_pretrained('bert-base-chinese')
model = BertForTokenClassification.from_pretrained(
    'bert-base-chinese', 
    num_labels=len(tag2id)
)

# 数据处理示例
def encode_tags(text, tags):
    tokenized = tokenizer(text, truncation=True, is_split_into_words=True)
    labels = []
    word_ids = tokenized.word_ids()

    prev_word = None
    for word_id in word_ids:
        if word_id is None:  # 特殊 token
            labels.append(-100)
        elif word_id != prev_word:  # 当前词首字
            labels.append(tag2id[tags[word_id]])
        else:  # 当前词非首字
            labels.append(tag2id['X'])  # 内部标记

    return tokenized['input_ids'], labels

# 训练循环
optimizer = torch.optim.AdamW(model.parameters(), lr=5e-5)
for epoch in range(3):
    model.train()
    for batch in train_loader:
        inputs, labels = batch
        outputs = model(**inputs, labels=labels)
        loss = outputs.loss
        loss.backward()
        optimizer.step()
        optimizer.zero_grad()

动态量化：

model = torch.quantization.quantize_dynamic(model, {torch.nn.Linear}, dtype=torch.qint8
)

结构化剪枝：
移除注意力头（评估各头重要性）
裁剪 FFN 中间层维度

动态 padding：同一 batch 内按最长样本 padding
梯度累积：模拟更大 batch_size

配置	显存占用
FP32	1.2GB
INT8	450MB
剪枝后	800MB

标签对齐问题：
BERT 的 WordPiece 切分导致 token 与标签数量不匹配
解决方案：仅对词首 token 标注，内部 token 用特殊标记
过拟合：
早停法（验证集 F1 不再提升时停止）
混合精度训练可间接正则化
实体嵌套：
采用 BIOES 标注体系而非 BIO
设计层级预测机制

在 BERT 顶层添加 CRF 层，利用转移矩阵约束标签序列：

from transformers import BertPreTrainedModel
from torchcrf import CRF

class BertCRF(BertPreTrainedModel):
    def __init__(self, config):
        super().__init__(config)
        self.bert = BertModel(config)
        self.dropout = nn.Dropout(0.1)
        self.classifier = nn.Linear(config.hidden_size, config.num_labels)
        self.crf = CRF(config.num_labels, batch_first=True)

    def forward(self, input_ids, labels=None):
        outputs = self.bert(input_ids)
        emissions = self.classifier(outputs.last_hidden_state)
        if labels is not None:
            loss = -self.crf(emissions, labels, mask=input_ids.ne(0))
            return loss
        return self.crf.decode(emissions)