BERT预训练与微调实战指南：从零开始构建NLP模型

1次阅读

共计 1753 个字符，预计需要花费 5 分钟才能阅读完成。

BERT（Bidirectional Encoder Representations from Transformers）是 Google 在 2018 年提出的预训练语言模型，它通过大规模无监督学习捕捉文本的深层语义表示。BERT 的核心创新在于：

使用 Transformer 编码器结构
采用 MLM（掩码语言模型）和 NSP（下一句预测）双任务预训练
实现真正的双向上下文理解

需要处理多种文本格式（JSON/CSV/TSV）
特殊字符和编码问题频发
标签分布不均衡影响模型效果

基础版 BERT-large 需要 16GB 显存
预训练需要数百 GPU 小时
微调阶段仍需注意显存占用

学习率对模型效果影响显著
batch size 与训练稳定性相关
epoch 设置需要平衡欠 / 过拟合

全参数微调 vs 适配器微调
分层学习率设置技巧
何时冻结部分网络层

模型体积压缩方法
推理速度优化
多平台兼容性问题

import torch
from transformers import BertTokenizer, BertForSequenceClassification
from transformers import AdamW

# 1. 数据预处理
tokenizer = BertTokenizer.from_pretrained('bert-base-uncased')
text = "This is a sample sentence for classification"
inputs = tokenizer(text, return_tensors="pt", padding=True, truncation=True)

# 2. 模型加载
model = BertForSequenceClassification.from_pretrained(
    'bert-base-uncased', 
    num_labels=2  # 二分类任务
)

# 3. 训练配置
optimizer = AdamW(model.parameters(), lr=2e-5)  # 推荐初始学习率
loss_fn = torch.nn.CrossEntropyLoss()

# 4. 训练循环
for epoch in range(3):  # 典型微调 epoch 数
    outputs = model(**inputs, labels=torch.tensor([1]))  # 假设标签为 1
    loss = outputs.loss
    loss.backward()
    optimizer.step()
    optimizer.zero_grad()

关键参数说明：
– lr=2e-5：BERT 微调黄金学习率
– padding=True：自动补齐序列长度
– num_labels：根据任务类型设置

硬件	每秒样本数	显存占用
T4	32	8GB
V100	78	12GB
A100	156	18GB

使用梯度检查点技术
减小 max_seq_length（通常 256 足够）
启用梯度累积

from torch.cuda.amp import GradScaler, autocast

scaler = GradScaler()
with autocast():
    outputs = model(**inputs)
    loss = outputs.loss
scaler.scale(loss).backward()
scaler.step(optimizer)
scaler.update()