BERT微调实战指南：从数据准备到模型部署的全流程解析

1次阅读

共计 1785 个字符，预计需要花费 5 分钟才能阅读完成。

BERT 等预训练模型通过海量语料学习到的语言表示，能在各类 NLP 任务（如文本分类、命名实体识别）中提供强大的语义理解能力。但对新手来说，直接微调 BERT 常遇到以下问题：

训练数据不足导致过拟合
显存溢出（尤其是消费级 GPU）
超参数选择缺乏参考标准
评估指标波动大难以调优

去除 HTML 标签、特殊字符
统一缩写和拼写（如 ”it’s” -> “it is”）
中文需进行分词或字级别处理

使用 BERT 专属的 WordPiece 分词器：

from transformers import BertTokenizer
tokenizer = BertTokenizer.from_pretrained('bert-base-uncased')

text = "I love NLP!"
inputs = tokenizer(text, 
                  padding='max_length', 
                  truncation=True,
                  max_length=128,
                  return_tensors="pt")
print(inputs.input_ids.shape)  # torch.Size([1, 128])

关键参数说明：

padding='max_length'：填充到指定长度
truncation=True：超出长度自动截断
return_tensors="pt"：返回 PyTorch 张量

from transformers import BertForSequenceClassification

model = BertForSequenceClassification.from_pretrained(
    'bert-base-uncased',
    num_labels=2  # 二分类任务
)

# 推荐超参数（需根据任务调整）learning_rate = 2e-5
batch_size = 16
epochs = 3

from torch.optim import AdamW

optimizer = AdamW(model.parameters(), lr=learning_rate)

for epoch in range(epochs):
    model.train()
    for batch in train_loader:
        outputs = model(**batch)
        loss = outputs.loss
        loss.backward()
        optimizer.step()
        optimizer.zero_grad()

from torch.cuda.amp import GradScaler, autocast

scaler = GradScaler()

with autocast():
    outputs = model(**batch)
    loss = outputs.loss

scaler.scale(loss).backward()
scaler.step(optimizer)
scaler.update()

当显存不足时，通过多次小批量累计梯度：

gradient_accumulation_steps = 4

for i, batch in enumerate(train_loader):
    loss = model(**batch).loss
    loss = loss / gradient_accumulation_steps
    loss.backward()

    if (i+1) % gradient_accumulation_steps == 0:
        optimizer.step()
        optimizer.zero_grad()