BERT预训练模型微调实战：从零开始构建文本分类器

1次阅读

共计 1948 个字符，预计需要花费 5 分钟才能阅读完成。

BERT（Bidirectional Encoder Representations from Transformers）是谷歌 2018 年推出的预训练语言模型，通过 Masked Language Model 和 Next Sentence Prediction 任务，学习到了深层次的语义表示。相比传统 NLP 模型，BERT 有三大优势：

上下文感知：能根据前后文动态调整词向量
迁移性强：预训练知识可快速适配下游任务
开箱即用：HuggingFace 等库提供即用型实现

显存爆炸（OOM）：BERT-base 模型就需要 1.2GB 显存，batch_size 稍大就崩溃
过拟合严重：小数据集上直接微调容易记住训练样本
学习率魔咒：照搬论文的 5e- 5 效果时好时坏
文本截断：超过 512token 的文本处理不当
评估指标误用：分类任务盲目使用 accuracy 忽略类别不平衡

# 推荐使用 conda 创建环境
conda create -n bertft python=3.8
conda install pytorch torchvision torchaudio cudatoolkit=11.3 -c pytorch
pip install transformers datasets

from transformers import BertTokenizer
tokenizer = BertTokenizer.from_pretrained('bert-base-uncased')

def preprocess(text):
    return tokenizer(
        text,
        max_length=256,  # 平衡效果与显存
        truncation=True,
        padding='max_length',
        return_tensors='pt'
    )

from transformers import BertForSequenceClassification, Trainer, TrainingArguments

model = BertForSequenceClassification.from_pretrained(
    'bert-base-uncased',
    num_labels=2  # 二分类任务
)

training_args = TrainingArguments(
    output_dir='./results',
    per_device_train_batch_size=8,  # 2080Ti 建议 8 -16
    learning_rate=3e-5,  # 比原始论文稍小
    num_train_epochs=3,
    evaluation_strategy='epoch',
    save_strategy='epoch',
    load_best_model_at_end=True
)

trainer = Trainer(
    model=model,
    args=training_args,
    train_dataset=train_dataset,
    eval_dataset=val_dataset
)

trainer.train()

GPU：至少 11GB 显存（如 RTX 2080Ti）
TPU：Colab 免费版可用，但需要修改数据管道
CPU：仅建议预测时使用

梯度累积（模拟更大 batch_size）

training_args = TrainingArguments(
    per_device_train_batch_size=4,
    gradient_accumulation_steps=2  # 等效 batch_size=8
)

混合精度训练

training_args.fp16 = True  # 减少 30% 显存占用

梯度爆炸 ：添加max_grad_norm=1.0 参数
过拟合：早停（early_stopping_patience=2）
长文本：优先截取首尾（首 128+ 尾 382token）

from sklearn.metrics import f1_score

def compute_metrics(eval_pred):
    predictions, labels = eval_pred
    return {'f1': f1_score(labels, predictions.argmax(-1))}