BERT微调参数实战指南：从零开始掌握关键调参技巧

1次阅读

没有评论

共计 1920 个字符，预计需要花费 5 分钟才能阅读完成。

刚开始接触 BERT 微调时，最让人头疼的就是各种参数的选择。明明跟着教程跑通了代码，效果却总是不理想：有时候模型训练几轮就过拟合，有时候 loss 值上下跳动像坐过山车，还有时候显存直接爆炸。这些问题的根源往往在于参数配置不当。

常见的新手困惑包括：

为什么用默认学习率训练时模型完全不收敛？
batch size 设多大才既高效又不会爆显存？
到底要训练多少个 epoch 才算够？
warmup 步骤到底有什么用？

BERT 微调中最关键的参数之一。由于 BERT 本身是预训练模型，我们需要：

使用比预训练阶段更小的学习率（典型值 2e- 5 到 5e-5）
避免使用太大的学习率导致模型 ” 忘记 ” 预训练知识
对于不同的下游任务，最优学习率可能有所不同

影响训练稳定性和显存占用的重要参数：

较大的 batch size（如 32）可以使梯度估计更准确
较小的 batch size（如 16）更适合显存有限的设备
实际选择时需要权衡训练速度和模型性能

决定模型训练多少轮的关键参数：

太少会导致欠拟合，太多会导致过拟合
对于大多数 NLP 任务，3- 5 个 epoch 通常足够
可以通过早停（early stopping）来避免不必要的训练

一个常被忽视但很重要的技巧：

在训练初期逐步增加学习率
避免模型参数在初始阶段剧烈变化
通常设为总训练步数的 10% 左右

我们在 GLUE 的 MRPC 任务上测试了不同参数组合：

学习率	Batch Size	验证集准确率
2e-5	16	87.2%
2e-5	32	86.8%
5e-5	16	88.1%
5e-5	32	87.5%

实验结果表明：

适当提高学习率（5e-5）通常能获得更好效果
batch size 对最终性能影响相对较小
最优参数组合需要根据具体任务调试

from transformers import AdamW, get_linear_schedule_with_warmup

# 初始化模型
model = BertForSequenceClassification.from_pretrained('bert-base-uncased')

# 设置训练参数
total_steps = len(train_dataloader) * epochs
optimizer = AdamW(model.parameters(), lr=2e-5, eps=1e-8)
scheduler = get_linear_schedule_with_warmup(
    optimizer, 
    num_warmup_steps=int(0.1*total_steps),
    num_training_steps=total_steps
)

# 训练循环
for epoch in range(epochs):
    model.train()
    for batch in train_dataloader:
        outputs = model(**batch)
        loss = outputs.loss
        loss.backward()
        optimizer.step()
        scheduler.step()
        optimizer.zero_grad()

学习率过高 ：会导致 loss 剧烈震荡
解决方案：从 2e- 5 开始尝试，逐步调整
batch size 过大 ：可能引发显存不足

解决方案：使用梯度累积技巧

# 每 4 个小 batch 更新一次参数
for i, batch in enumerate(dataloader):
    loss = model(**batch).loss
    loss = loss / 4  # 梯度累积
    loss.backward()
    if (i+1) % 4 == 0:
        optimizer.step()
        optimizer.zero_grad()