BERT预训练模型微调实战：从原理到生产环境避坑指南

1次阅读

没有评论

共计 2391 个字符，预计需要花费 6 分钟才能阅读完成。

BERT 等预训练模型虽然强大，但在实际业务场景中微调时仍面临诸多挑战：

小样本学习：许多垂直领域（如医疗、法律）标注数据稀缺，直接微调易导致过拟合
领域适配：通用预训练语言表征与专业领域分布存在差异（如生物医学实体识别）
计算资源消耗：Full Fine-tuning 需要保存所有参数的优化器状态，显存占用高达原始模型的 3 倍
灾难性遗忘：微调后模型可能丢失预训练获得的通用语言理解能力

原理：冻结 BERT 参数，仅训练顶层分类器
优点：训练速度快，显存占用低（约 1.2GB）
缺点：无法适应领域特异性语言模式
适用场景：计算资源严格受限时的基线方案

原理：更新所有参数（学习率通常设为 5e-5）
优点：模型容量利用率最高
缺点：需要大量标注数据（至少 5k 样本）

原理：在 Transformer 层间插入轻量适配模块（如 AdapterDrop）
优点：参数效率高（仅新增 3 -5% 参数）
缺点：推理延迟增加约 15%

论文参考：《Parameter-Efficient Transfer Learning for NLP》

from transformers import BertTokenizer
tokenizer = BertTokenizer.from_pretrained('bert-base-uncased')

def encode(texts, labels, max_len=128):
    return tokenizer(
        texts,
        padding='max_length',
        truncation=True,
        max_length=max_len,
        return_tensors='pt'
    ), torch.tensor(labels)

from transformers import BertForSequenceClassification

model = BertForSequenceClassification.from_pretrained(
    'bert-base-uncased',
    num_labels=2  # 二分类任务
)
model.to(device)

from transformers import AdamW

optimizer = AdamW(model.parameters(),
    lr=5e-5,
    correct_bias=False  # 遵循原始 BERT 的实现
)

for epoch in range(3):
    model.train()
    for batch in train_loader:
        inputs, labels = batch
        outputs = model(**inputs.to(device), labels=labels.to(device))
        loss = outputs.loss
        loss.backward()
        optimizer.step()
        optimizer.zero_grad()

from transformers import get_linear_schedule_with_warmup

scheduler = get_linear_schedule_with_warmup(
    optimizer,
    num_warmup_steps=100,  # 前 100 步线性增大学习率
    num_training_steps=len(train_loader)*3
)

param_groups = [{'params': model.bert.embeddings.parameters(), 'lr': 1e-5},
    {'params': model.bert.encoder.layer[:6].parameters(), 'lr': 3e-5},
    {'params': model.bert.encoder.layer[6:].parameters(), 'lr': 5e-5},
    {'params': model.classifier.parameters(), 'lr': 1e-4}
]
optimizer = AdamW(param_groups)

torch.nn.utils.clip_grad_norm_(model.parameters(),
    max_norm=1.0  # 防止梯度爆炸
)

OOM 错误
解决方案：启用梯度检查点（model.gradient_checkpointing_enable()）
实测：显存占用从 6GB 降至 3.8GB（batch_size=32 时）
NaN 损失
典型原因：学习率过高或未做梯度裁剪
检查方法：添加torch.autograd.set_detect_anomaly(True)
显存泄漏
排查步骤：
1. 使用 nvidia-smi -l 1 监控显存变化
2. 检查是否遗漏optimizer.zero_grad()
预测结果随机
修复方案：确保设置了 model.eval() 和torch.no_grad()
GPU 利用率低
优化方向：
- 增大 dataloader 的num_workers（建议设为 CPU 核数的 75%）
- 使用 pin_memory=True 加速数据转移