BERT模型微调实战：从数据准备到生产环境部署的最佳实践

1次阅读

没有评论

共计 2833 个字符，预计需要花费 8 分钟才能阅读完成。

在实际业务中使用 BERT 微调时，我们经常会遇到几个典型问题：

小样本过拟合：当训练数据不足时，BERT 强大的表达能力容易导致模型记住训练集细节而非学习通用特征
长文本处理瓶颈：BERT 的 512 token 长度限制使得处理长文档时需进行截断或分段，可能丢失关键信息
多任务冲突：同时优化多个任务时，不同任务的梯度可能相互干扰，影响最终效果
部署效率低下：原始 BERT 模型参数量大，推理延迟高，难以满足生产环境实时性要求

BERT 应用主要有两种策略：

Feature-based 方法
固定 BERT 权重，仅将其作为特征提取器
优势：训练成本低，适合计算资源有限场景
局限：无法充分利用下游任务数据调整模型
Fine-tuning 方法
在目标任务数据上继续训练 BERT
优势：通常能获得更好的性能表现
局限：需要更多训练数据和计算资源

选择建议：
– 当训练数据少 (<1k 样本) 或需快速原型验证时，优先考虑 Feature-based
– 当数据充足且追求最佳效果时，采用 Fine-tuning

from transformers import BertTokenizer

tokenizer = BertTokenizer.from_pretrained('bert-base-uncased')

def preprocess(text, max_length=128):
    # 将文本转换为模型输入格式
    inputs = tokenizer(
        text,
        max_length=max_length,
        truncation=True,
        padding='max_length',
        return_tensors='pt'
    )
    return inputs

import torch.nn as nn
from transformers import BertModel

class BertClassifier(nn.Module):
    def __init__(self, num_labels=2):
        super().__init__()
        self.bert = BertModel.from_pretrained('bert-base-uncased')
        self.dropout = nn.Dropout(0.1)
        self.classifier = nn.Linear(768, num_labels)

    def forward(self, input_ids, attention_mask):
        outputs = self.bert(
            input_ids=input_ids,
            attention_mask=attention_mask
        )
        pooled = outputs.pooler_output
        pooled = self.dropout(pooled)
        return self.classifier(pooled)

from transformers import AdamW, get_linear_schedule_with_warmup

model = BertClassifier()
optimizer = AdamW(model.parameters(), lr=2e-5, correct_bias=False)

# 学习率预热调度
total_steps = len(train_loader) * epochs
scheduler = get_linear_schedule_with_warmup(
    optimizer,
    num_warmup_steps=0.1*total_steps,
    num_training_steps=total_steps
)

for epoch in range(epochs):
    for batch in train_loader:
        optimizer.zero_grad()

        outputs = model(input_ids=batch['input_ids'],
            attention_mask=batch['attention_mask']
        )
        loss = criterion(outputs, batch['labels'])
        loss.backward()

        # 梯度裁剪
        torch.nn.utils.clip_grad_norm_(model.parameters(), 1.0)

        optimizer.step()
        scheduler.step()

方案	模型大小	推理延迟(ms)	准确率
FP32	438MB	45.2	92.1%
FP16	219MB	28.7	92.0%
ONNX	214MB	18.3	91.9%

import onnxruntime as ort

# 转换模型到 ONNX 格式
torch.onnx.export(
    model,
    (dummy_input_ids, dummy_attention_mask),
    "bert_model.onnx",
    input_names=['input_ids', 'attention_mask'],
    output_names=['logits'],
    dynamic_axes={'input_ids': {0: 'batch'},
        'attention_mask': {0: 'batch'},
        'logits': {0: 'batch'}
    }
)

# 加载 ONNX 模型
ort_session = ort.InferenceSession("bert_model.onnx")
outputs = ort_session.run(
    None,
    {'input_ids': input_ids.numpy(),
        'attention_mask': attention_mask.numpy()}
)