BERT Embedding模型微调实战：从原理到生产环境部署

1次阅读

没有评论

共计 2432 个字符，预计需要花费 7 分钟才能阅读完成。

直接使用预训练 BERT 的静态词向量时，我们常遇到这些问题：

医疗 / 法律等专业术语的语义编码不准确（比如 ” 心肌梗死 ” 被处理成普通词组）
相同词语在不同场景的差异无法体现（电商评论中 ” 炸裂 ” 可能是褒义）
长文本的层次化特征难以捕捉（合同文本中的条款关联性）

冻结 BERT 权重，仅训练顶层网络：

优点：显存占用少（约 6GB），训练快（GPU 小时）
缺点：无法调整底层语义表征

解冻全部参数进行训练：

优点：领域适应性强（测试集 F1 可提升 15%+）
缺点：需要 24GB+ 显存，易出现过拟合

经验选择 ：
– 数据量 <1 万条时建议 Feature-based
– 数据量 >10 万条且显存充足时用 Full 微调

# 安装关键库
pip install transformers[torch] datasets

from transformers import BertTokenizer
tokenizer = BertTokenizer.from_pretrained('bert-base-uncased')

# 添加领域特殊 token
special_tokens = ['[MED]', '[LAW]']  # 示例：医疗法律领域
tokenizer.add_tokens(special_tokens)

# 文本编码示例
text = "[MED] Patient shows tachycardia symptoms"
inputs = tokenizer(text, padding='max_length', truncation=True, max_length=128, return_tensors='pt')

from transformers import AdamW

# 不同层设置不同学习率
optimizer_grouped_parameters = [{"params": [p for n, p in model.named_parameters() if "encoder.layer.11" in n], "lr": 5e-5},
    {"params": [p for n, p in model.named_parameters() if "encoder.layer.0" in n], "lr": 1e-6},
    {"params": [p for n, p in model.named_parameters() if "pooler" in n], "lr": 1e-4}
]
optimizer = AdamW(optimizer_grouped_parameters)

import torch.nn as nn

class TripletLoss(nn.Module):
    def __init__(self, margin=1.0):
        super().__init__()
        self.margin = margin

    def forward(self, anchor, positive, negative):
        # 计算余弦相似度
        pos_sim = F.cosine_similarity(anchor, positive)
        neg_sim = F.cosine_similarity(anchor, negative)

        # 计算 loss
        losses = torch.relu(neg_sim - pos_sim + self.margin)
        return losses.mean()

# 梯度检查点技术
model.gradient_checkpointing_enable()

# FP16 混合精度训练
from torch.cuda.amp import GradScaler
scaler = GradScaler()

# 动态量化示例
from torch.quantization import quantize_dynamic
quantized_model = quantize_dynamic(model, {torch.nn.Linear}, dtype=torch.qint8
)

# 精度对比测试
def compare_accuracy(orig_model, quant_model, test_loader):
    orig_acc = evaluate(orig_model, test_loader)
    quant_acc = evaluate(quant_model, test_loader)
    print(f"精度下降: {orig_acc - quant_acc:.4f}")

from torch.utils.data import DataLoader

# 使用随机种子确保数据分割一致性
train_loader = DataLoader(
    dataset, 
    batch_size=32,
    shuffle=True,
    generator=torch.Generator().manual_seed(42)  # 固定随机种子
)

# 未知词向量修补策略
def handle_oov(token, pretrained_embeddings):
    # 拆分子词
    subwords = tokenizer.tokenize(token)
    if not subwords:
        return pretrained_embeddings['[UNK]']

    # 取子词向量平均值
    subword_embeds = [pretrained_embeddings[sw] for sw in subwords]
    return torch.mean(torch.stack(subword_embeds), dim=0)

当微调后的模型在训练集达到 95% 准确率，而验证集只有 70% 时，我们需要：