BERT微调实战：从数据准备到模型部署的完整避坑指南

1次阅读

共计 1386 个字符，预计需要花费 4 分钟才能阅读完成。

在 BERT 微调过程中，我们常常会遇到以下几个典型问题：

数据稀疏性 ：特定领域的标注数据往往不足，导致模型难以充分学习领域特征。
GPU 内存瓶颈 ：BERT 模型参数量大，在有限显存下难以使用较大 batch size 进行训练。
过拟合 ：在小型数据集上微调时，模型容易记住训练样本而泛化能力下降。

AdamW（推荐）：适合大多数 NLP 任务，内置权重衰减可防止过拟合
SGD：在数据量较大时可能收敛到更好的局部最优，但需要手动调整动量参数

线性衰减 ：简单有效，适合短周期微调
余弦退火 ：在长周期训练中表现更好，能跳出局部最优
分层学习率 ：对底层 BERT 参数使用较小学习率（1e-5），顶层分类层使用较大学习率（1e-4）

from transformers import BertTokenizer

tokenizer = BertTokenizer.from_pretrained('bert-base-uncased')

def preprocess_function(examples):
    # 对文本进行 tokenize 和 padding
    return tokenizer(examples['text'], 
        truncation=True,
        padding='max_length',
        max_length=512,
        return_tensors='pt'
    )

import torch.nn as nn

class WeightedCrossEntropy(nn.Module):
    def __init__(self, weights):
        super().__init__()
        self.weights = torch.tensor(weights)  # 各类别权重

    def forward(self, inputs, targets):
        # 使用加权交叉熵解决样本不均衡
        ce_loss = nn.CrossEntropyLoss(weight=self.weights)(inputs, targets)
        return ce_loss

torch.onnx.export(
    model,
    dummy_input,  # 模拟输入
    "bert_finetuned.onnx",
    opset_version=11,
    input_names=['input_ids', 'attention_mask'],
    output_names=['logits']
)