BERT情感分类微调实战：从数据准备到模型部署的全流程指南

1次阅读

没有评论

共计 2605 个字符，预计需要花费 7 分钟才能阅读完成。

情感分析是自然语言处理（NLP）中的常见任务，BERT 等预训练模型的出现极大地提升了情感分类的准确率。然而，直接将原始 BERT 模型用于特定领域的情感分类仍然存在诸多挑战：

领域适配差：BERT 在通用语料上预训练，对特定领域（如电商评论、社交媒体）的术语和表达方式理解不足
计算资源消耗大：原生 BERT-base 模型参数量达 1.1 亿，训练和推理都需要较高硬件配置
数据不平衡问题：真实场景中积极 / 消极评论比例往往不均，导致模型偏向多数类
过拟合风险：小规模数据集上微调容易导致模型记住训练样本而非学习通用特征

当前主流 BERT 微调方案主要有以下几种：

HuggingFace Transformers：
优势：API 设计简洁，预训练模型丰富，社区支持好
不足：自定义修改架构时灵活性稍差
TensorFlow + BERT 官方代码：
优势：与 TF 生态无缝集成
不足：代码冗长，调试不便
PyTorch Lightning：
优势：训练流程模块化
不足：学习曲线较陡

推荐选择 HuggingFace Transformers，因其在易用性和灵活性间取得了良好平衡。

情感分类任务的数据处理需要特别注意文本清洗和标签平衡：

文本清洗：
移除 HTML 标签、特殊字符
统一缩略词（如 ”don’t” -> “do not”）
处理表情符号（可保留或替换为文本描述）
标签编码：
二分类：0/ 1 表示消极 / 积极
多分类：使用 sklearn 的 LabelEncoder
数据集划分：
建议比例：训练集 70%、验证集 15%、测试集 15%
使用 stratified split 保持各类别比例

使用 BertForSequenceClassification 类加载预训练模型：

from transformers import BertForSequenceClassification, BertTokenizer

model = BertForSequenceClassification.from_pretrained(
    'bert-base-uncased',
    num_labels=2,  # 情感类别数
    output_attentions=False,
    output_hidden_states=False
)
tokenizer = BertTokenizer.from_pretrained('bert-base-uncased')

学习率调度：
初始学习率建议 2e- 5 到 5e-5
使用线性 warmup（前 10% 的训练步数）
搭配余弦退火或线性衰减
早停策略：
监控验证集准确率
patience 设为 3 - 5 个 epoch
类别权重处理：
计算类别权重并传入损失函数

from sklearn.utils.class_weight import compute_class_weight

class_weights = compute_class_weight(
    'balanced',
    classes=np.unique(train_labels),
    y=train_labels
)
weights = torch.tensor(class_weights, dtype=torch.float)
criterion = torch.nn.CrossEntropyLoss(weight=weights)

# 数据准备示例
def encode_text(texts, labels, tokenizer, max_len=128):
    encoded = tokenizer.batch_encode_plus(
        texts,
        add_special_tokens=True,
        max_length=max_len,
        padding='max_length',
        truncation=True,
        return_attention_mask=True,
        return_tensors='pt'
    )
    return {'input_ids': encoded['input_ids'],
        'attention_mask': encoded['attention_mask'],
        'labels': torch.tensor(labels)
    }

# 训练循环关键部分
for epoch in range(epochs):
    model.train()
    for batch in train_loader:
        optimizer.zero_grad()
        inputs = {'input_ids': batch['input_ids'].to(device),
            'attention_mask': batch['attention_mask'].to(device),
            'labels': batch['labels'].to(device)
        }
        outputs = model(**inputs)
        loss = outputs.loss
        loss.backward()
        torch.nn.utils.clip_grad_norm_(model.parameters(), 1.0)
        optimizer.step()
        scheduler.step()

使用 ONNX Runtime 可提升推理速度 2 - 4 倍：

from transformers.convert_graph_to_onnx import convert

convert(
    framework="pt",
    model=model,
    output=Path("model.onnx"),
    opset=12,
    tokenizer=tokenizer
)