BERT框架微调阶段实战：从数据准备到模型优化的全流程指南

1次阅读

共计 2702 个字符，预计需要花费 7 分钟才能阅读完成。

在 NLP 任务中使用 BERT 进行微调时，开发者常常会遇到几个典型问题：

小样本过拟合：当训练数据量较少时，BERT 庞大的参数量容易导致模型在训练集上表现良好，但在测试集上泛化能力差。
长文本处理瓶颈：BERT 的最大输入长度通常为 512 个 token，处理长文本时需要特殊的截断或分段策略。
计算资源消耗：微调 BERT 需要大量的 GPU 内存和计算时间，尤其是在大型数据集上。
超参数敏感：学习率、batch size 等超参数对微调结果影响显著，但调优过程耗时且复杂。

不同的微调策略适用于不同的场景：

Layer-wise Learning Rate 衰减：
适用场景：当希望保留 BERT 底层通用语言特征，只微调高层任务特定特征时
优点：能更好地保留预训练知识
缺点：需要更多调参工作
Adapter 模块：
适用场景：需要轻量级微调，减少参数更新的场景
优点：参数效率高，适合资源受限环境
缺点：可能限制模型表达能力
全参数微调：
适用场景：目标任务与预训练任务差异较大时
优点：模型可以充分适应新任务
缺点：计算成本高，容易过拟合

from transformers import BertTokenizer, BertForSequenceClassification
from transformers import Trainer, TrainingArguments
import torch

# 加载预训练模型和 tokenizer
model = BertForSequenceClassification.from_pretrained('bert-base-uncased')
tokenizer = BertTokenizer.from_pretrained('bert-base-uncased')

# 示例训练数据
train_texts = ["This is a positive example.", "This is negative."]
train_labels = [1, 0]

# 数据编码
train_encodings = tokenizer(train_texts, truncation=True, padding=True, max_length=512)

# 创建数据集类
class CustomDataset(torch.utils.data.Dataset):
    def __init__(self, encodings, labels):
        self.encodings = encodings
        self.labels = labels

    def __getitem__(self, idx):
        item = {key: torch.tensor(val[idx]) for key, val in self.encodings.items()}
        item['labels'] = torch.tensor(self.labels[idx])
        return item

    def __len__(self):
        return len(self.labels)

# 创建数据集
train_dataset = CustomDataset(train_encodings, train_labels)

# 训练参数
training_args = TrainingArguments(
    output_dir='./results',
    num_train_epochs=3,
    per_device_train_batch_size=8,
    learning_rate=5e-5,
    warmup_steps=500,
    weight_decay=0.01,
    logging_dir='./logs',
    logging_steps=10,
)

# 创建 Trainer
trainer = Trainer(
    model=model,
    args=training_args,
    train_dataset=train_dataset,
)

# 开始训练
trainer.train()

动态 padding：使用 tokenizer 时设置padding=True，让每个 batch 内的样本自动 padding 到相同长度
智能 batching：通过按长度排序样本再分 batch，可以减少 padding 数量

from torch.utils.data import DataLoader

def collate_fn(batch):
    # 按序列长度排序 batch
    batch = sorted(batch, key=lambda x: len(x['input_ids']), reverse=True)
    return torch.utils.data.dataloader.default_collate(batch)

# 使用智能 batching 的 DataLoader
dataloader = DataLoader(train_dataset, batch_size=8, collate_fn=collate_fn)

training_args = TrainingArguments(
    # 其他参数...
    fp16=True,  # 启用混合精度训练
)

training_args = TrainingArguments(
    # 其他参数...
    gradient_accumulation_steps=4,  # 每 4 个 step 更新一次参数
)

training_args = TrainingArguments(
    # 其他参数...
    per_device_train_batch_size=8,
    dataloader_num_workers=4,
    local_rank=-1,
    n_gpu=torch.cuda.device_count(),)