BERT预训练与微调实战：从模型选择到生产环境优化

1次阅读

没有评论

共计 2446 个字符，预计需要花费 7 分钟才能阅读完成。

在 NLP 任务中使用 BERT 模型时，开发者常面临以下几个主要挑战：

硬件要求高 ：BERT-base 模型通常需要 16GB 以上显存，对于普通开发者或小型团队来说训练成本较高。
小数据微调效果差 ：当训练数据量较少时，模型容易过拟合或无法有效迁移预训练知识。
长文本处理困难 ：BERT 的 512 token 长度限制导致处理长文档时需要特殊处理。
训练不稳定 ：微调阶段容易出现梯度爆炸或损失震荡等问题。
部署成本高 ：生产环境中模型推理速度慢，资源占用大。

不同 BERT 变体各有特点，我们需要根据任务需求选择合适的模型：

BERT-base
优点：通用性强，预训练充分
缺点：参数量大 (110M)，推理速度慢
适用场景：对效果要求高且有足够计算资源的场景
RoBERTa
优点：动态 masking，更大 batch size，效果通常优于 BERT
缺点：训练成本更高
适用场景：追求最佳效果的场景
DistilBERT
优点：体积小 40%，速度快 60%
缺点：效果略有下降
适用场景：资源受限的生产环境
ALBERT
优点：参数共享，内存占用小
缺点：训练时间更长
适用场景：需要轻量级模型且训练时间不敏感的场景

数据预处理
使用 SentencePiece 或 WordPiece 进行 tokenization
构建 Next Sentence Prediction(NSP) 任务数据
处理特殊字符和标点符号
Mask 策略优化
采用动态 masking 而非静态 masking
调整 mask 比例 (通常 15-20%)
考虑全词 mask(Whole Word Masking)
学习率调度
使用线性 warmup
配合余弦退火或线性衰减
初始学习率通常在 5e- 5 到 3e- 4 之间

层冻结策略
初期冻结底层参数
逐步解冻更高层
最后微调全部参数
损失函数选择
分类任务：交叉熵损失
回归任务：MSE 损失
序列标注：CRF 层
早停机制
监控验证集指标
设置合理 patience 值
保存最佳模型

以下是一个完整的 PyTorch 微调示例，使用 HuggingFace Transformers 库：

from transformers import BertTokenizer, BertForSequenceClassification
from transformers import AdamW, get_linear_schedule_with_warmup
import torch
from torch.utils.data import DataLoader, TensorDataset

# 1. 数据准备
tokenizer = BertTokenizer.from_pretrained('bert-base-uncased')

def encode_texts(texts, labels, max_length=128):
    inputs = tokenizer(texts, padding='max_length', 
                      truncation=True, max_length=max_length,
                      return_tensors='pt')
    return TensorDataset(inputs['input_ids'], 
                        inputs['attention_mask'],
                        torch.tensor(labels))

train_dataset = encode_texts(train_texts, train_labels)
train_loader = DataLoader(train_dataset, batch_size=16, shuffle=True)

# 2. 模型定义
model = BertForSequenceClassification.from_pretrained(
    'bert-base-uncased', 
    num_labels=2
)
model.cuda()

# 3. 优化器和调度器
optimizer = AdamW(model.parameters(), lr=2e-5, eps=1e-8)
epochs = 4
total_steps = len(train_loader) * epochs
scheduler = get_linear_schedule_with_warmup(
    optimizer, 
    num_warmup_steps=0,
    num_training_steps=total_steps
)

# 4. 训练循环
for epoch in range(epochs):
    model.train()
    for batch in train_loader:
        # 梯度累积
        batch = tuple(t.cuda() for t in batch)
        inputs = {'input_ids': batch[0],
                 'attention_mask': batch[1],
                 'labels': batch[2]}

        outputs = model(**inputs)
        loss = outputs.loss
        loss.backward()

        # 每 4 个 batch 更新一次参数
        if (i + 1) % 4 == 0:
            optimizer.step()
            scheduler.step()
            optimizer.zero_grad()