BERT微调实战指南：从零开始构建高效NLP模型

1次阅读

共计 1960 个字符，预计需要花费 5 分钟才能阅读完成。

BERT（Bidirectional Encoder Representations from Transformers）是一种基于 Transformer 架构的预训练语言模型，由 Google 在 2018 年提出。它通过大规模无监督学习捕捉语言的深层语义和上下文信息，成为 NLP 领域的重要里程碑。微调（Fine-tuning）是指在预训练好的 BERT 模型基础上，针对特定任务进行少量训练，使其适应新的应用场景。

适用场景包括但不限于：

文本分类（如情感分析、新闻分类）
命名实体识别（NER）
问答系统（如 SQuAD 数据集）
文本相似度计算

在实际应用中，初学者常遇到以下问题：

数据不平衡：某些类别样本数量远多于其他类别，导致模型偏向多数类。
过拟合：模型在训练集表现良好，但在测试集上性能下降。
计算资源不足：BERT 模型参数量大，训练时可能显存不足。
超参数选择困难：学习率、batch size 等参数对结果影响显著，但缺乏调优经验。

BERT 输入需要特殊处理，包括：

分词：使用 BERT 专属的 WordPiece 分词器。
添加特殊标记：如[CLS]（分类任务）、[SEP]（句子分隔）。
填充与截断：统一序列长度（通常 512 tokens）。
生成 attention mask：区分真实 token 与填充部分。

根据任务类型选择不同输出层：

分类任务：添加全连接层 +softmax
序列标注：为每个 token 添加分类层
问答任务：输出答案起始和结束位置

关键参数建议范围：

学习率：2e- 5 到 5e-5（太小收敛慢，太大易震荡）
batch size：16 或 32（根据显存调整）
epoch：2 到 4（BERT 微调通常需要较少轮次）
warmup 比例：0.1（避免初期学习率过大）

from transformers import BertTokenizer, BertForSequenceClassification
from transformers import AdamW, get_linear_schedule_with_warmup
import torch

# 1. 加载预训练模型和分词器
model = BertForSequenceClassification.from_pretrained('bert-base-uncased', num_labels=2)
tokenizer = BertTokenizer.from_pretrained('bert-base-uncased')

# 2. 数据预处理示例
def encode_text(texts, labels, max_len=128):
    inputs = tokenizer(texts, padding='max_length', truncation=True, max_length=max_len, return_tensors="pt")
    inputs['labels'] = torch.tensor(labels)
    return inputs

# 3. 训练配置
device = torch.device('cuda' if torch.cuda.is_available() else 'cpu')
model = model.to(device)
optimizer = AdamW(model.parameters(), lr=2e-5)

# 4. 训练循环
for epoch in range(3):
    model.train()
    for batch in train_dataloader:
        batch = {k: v.to(device) for k, v in batch.items()}
        outputs = model(**batch)
        loss = outputs.loss
        loss.backward()
        optimizer.step()
        optimizer.zero_grad()