BERT微调实战：从数据准备到模型部署的全流程优化

1次阅读

共计 2670 个字符，预计需要花费 7 分钟才能阅读完成。

在客服意图识别场景中，我们经常遇到这样的问题：用户提问 ” 如何重置密码 ” 和 ” 忘记密码怎么办 ” 本质是同一意图，但传统规则引擎需要手动维护大量关键词。某金融 App 接入 BERT 微调模型后，意图识别准确率从 78% 提升至 93%，工单处理效率提升 40%。

新闻分类任务同样受益：某门户网站对 10 万篇财经新闻做微调后，模型自动将 ” 美联储加息 ” 和 ” 央行货币政策 ” 归入宏观经济类别（原 TF-IDF 方法常混淆为银行板块），分类 F1 值达到 0.89。

Feature-based（冻结 BERT）
适用场景：标注数据 <1k 条或计算资源极度有限
资源消耗：GPU 显存占用约 2GB，训练速度最快
缺点：无法捕捉任务特定语法特征
Adapter 微调
适用场景：中等规模数据（1k-10k 条）
资源消耗：新增约 3% 参数量，显存占用 4 -6GB
优势：保持预训练知识的同时适配新任务
全参数微调
适用场景：数据充足（>10k 条）且领域差异大
资源消耗：需 12GB+ 显存，建议使用 A100/V100
技巧：配合 Layer-wise LR decay 效果更佳

from datasets import load_dataset, ClassLabel
import pandas as pd

# 处理类别不平衡
def resample_dataset(dataset, target_col='label'):
    df = dataset.to_pandas()
    class_counts = df[target_col].value_counts()
    max_size = class_counts.max()

    dfs = []
    for class_idx, count in class_counts.items():
        dfs.append(df[df[target_col] == class_idx].sample(
            max_size, 
            replace=True,  # 允许过采样
            random_state=42
        ))
    return Dataset.from_pandas(pd.concat(dfs))

from transformers import Trainer, TrainingArguments

training_args = TrainingArguments(
    output_dir='./results',
    fp16=True,  # 启用混合精度
    gradient_accumulation_steps=4,  # 累计 4 个 batch 更新一次
    per_device_train_batch_size=8,  # 实际 batch_size=8*4=32
    learning_rate=2e-5,
    warmup_ratio=0.1,  # 前 10% 步数做 warmup
    logging_steps=100
)

import optuna

def objective(trial):
    lr = trial.suggest_float('lr', 1e-6, 5e-5, log=True)
    batch_size = trial.suggest_categorical('batch_size', [8, 16, 32])

    model = AutoModelForSequenceClassification.from_pretrained('bert-base-uncased')
    trainer = Trainer(
        model=model,
        args=TrainingArguments(..., learning_rate=lr),
        train_dataset=train_set
    )
    trainer.train()
    return evaluate(model, val_set)['f1']

study = optuna.create_study(direction='maximize')
study.optimize(objective, n_trials=20)

from transformers import BertForSequenceClassification
import torch

model = BertForSequenceClassification.from_pretrained("path/to/finetuned")
quantized_model = torch.quantization.quantize_dynamic(
    model,
    {torch.nn.Linear},  # 只量化线性层
    dtype=torch.qint8
)
torch.save(quantized_model, "quant_bert.pt")  # 体积缩减 52%

from transformers.convert_graph_to_onnx import convert

convert(
    framework="pt",
    model="path/to/model",
    output="model.onnx",
    opset=12,  # 使用稳定算子集
    pipeline_name="text-classification"
)