BERT微调超参数实战指南：从新手到高效调参

1次阅读

没有评论

共计 2116 个字符，预计需要花费 6 分钟才能阅读完成。

BERT 微调（Fine-tuning）是将预训练好的 BERT 模型在特定任务上进行二次训练的过程。对于新手来说，超参数的选择往往是一个挑战。常见的困惑包括：

为什么同样的模型，不同超参数效果差异巨大？
训练过程中 loss 波动剧烈，难以收敛
训练时间过长，效果提升不明显
模型在验证集上表现不稳定

这些问题的核心在于对超参数的理解和设置不当。接下来，我们将深入解析 BERT 微调中的关键超参数。

学习率决定了模型参数更新的步长。在 BERT 微调中：

过大的学习率会导致训练不稳定，loss 震荡
过小的学习率会让训练过程缓慢，可能陷入局部最优
典型取值范围：2e- 5 到 5e-5

batch size 影响每次参数更新的样本数量：

较大的 batch size 可以提高训练稳定性，但需要更多显存
较小的 batch size 可能导致训练噪声较大
建议根据 GPU 显存选择（通常 16-32）

epochs 决定了训练数据集被完整遍历的次数：

太少会导致欠拟合
太多会导致过拟合
通常 3 - 5 个 epoch 足够

warmup 可以避免早期训练的不稳定：

逐步增加学习率到初始设定值
常见设置为总训练步数的 10%

weight decay 是一种正则化技术：

防止模型过拟合
典型值在 0.01 到 0.1 之间

从 5e- 5 开始尝试
如果训练不稳定，降至 2e-5
使用学习率预热（warmup）
考虑余弦退火等学习率调度策略

根据 GPU 显存选择最大可能的 batch size
如果 OOM（显存不足），尝试梯度累积
在速度和稳定性之间权衡

早停（early stopping）
增加 dropout 概率
使用更小的学习率
增加权重衰减

from transformers import BertTokenizer, BertForSequenceClassification
from transformers import Trainer, TrainingArguments
import torch

# 加载模型和 tokenizer
model = BertForSequenceClassification.from_pretrained('bert-base-uncased')
tokenizer = BertTokenizer.from_pretrained('bert-base-uncased')

# 训练参数设置
training_args = TrainingArguments(
    output_dir='./results',          # 输出目录
    num_train_epochs=3,              # 训练轮数
    per_device_train_batch_size=16,  # 每设备 batch size
    per_device_eval_batch_size=64,   # 评估 batch size
    warmup_ratio=0.1,                # 预热比例
    weight_decay=0.01,               # 权重衰减
    learning_rate=3e-5,              # 学习率
    logging_dir='./logs',            # 日志目录
    logging_steps=10,                # 日志记录间隔
    evaluation_strategy='epoch',     # 评估策略
    save_strategy='epoch',           # 保存策略
)

# 创建 Trainer
trainer = Trainer(
    model=model,                     # 模型
    args=training_args,              # 训练参数
    train_dataset=train_dataset,     # 训练集
    eval_dataset=val_dataset,        # 验证集
)

# 开始训练
trainer.train()