BERT微调参数实战指南：从基础配置到生产级优化

1次阅读

共计 1748 个字符，预计需要花费 5 分钟才能阅读完成。

在工业场景中应用 BERT 微调常面临三大挑战：小样本数据容易导致模型过拟合，长文本输入超出 BERT 的最大长度限制需要特殊处理，以及训练资源有限时如何平衡模型性能和训练效率。本文将分享一套经过生产验证的 BERT 微调参数配置方案，帮助开发者解决这些实际问题。

BERT 微调中最关键的参数之一就是学习率。由于 BERT 本身已经在海量数据上进行了预训练，微调时需要较小的学习率以避免破坏预训练获得的知识。我们推荐使用带 warmup 的学习率调度策略，公式如下：

$$lr = lr_{base} \times min(\frac{step}{step_{warmup}}, 1) \times (1 – \frac{step}{step_{total}})$$

其中 lr_base 是基础学习率，通常设置为 2e- 5 到 5e- 5 之间；step_warmup是 warmup 的步数，一般占总训练步数的 10%；step_total是总训练步数。

由于 BERT 模型较大，在单卡上可能无法加载很大的批次。这时可以使用梯度累积技术，在多个小批次上累积梯度后再更新参数。有效批次大小的计算公式为：

$$batch_{effective} = batch_{per} \times accumulation_{steps}$$

分类任务：建议有效批次大小 64-256
序列标注任务：建议有效批次大小 16-32

不同的 NLP 任务需要不同的层冻结策略：

文本分类：可以冻结前 6 - 8 层，只微调上层
序列标注：建议冻结前 4 - 6 层
小样本数据：建议冻结更多层

以下是 PyTorch 实现的核心代码片段：

# 自定义学习率调度器
class BERTLearningRateScheduler:
    def __init__(self, optimizer, lr_base, warmup_steps, total_steps):
        self.optimizer = optimizer
        self.lr_base = lr_base
        self.warmup_steps = warmup_steps
        self.total_steps = total_steps
        self.current_step = 0

    def step(self):
        self.current_step += 1
        lr = self.lr_base * min(self.current_step/self.warmup_steps, 1) * (1 - self.current_step/self.total_steps)
        for param_group in self.optimizer.param_groups:
            param_group['lr'] = lr

# NOTE: 混合精度训练设置
scaler = torch.cuda.amp.GradScaler()
with torch.cuda.amp.autocast():
    outputs = model(inputs)
    loss = criterion(outputs, labels)
scaler.scale(loss).backward()
scaler.step(optimizer)
scaler.update()

我们对比了不同硬件配置下的训练速度：