基于BERT与Transformers的文本分类实战：从数据预处理到模型部署完整指南

共计 2384 个字符，预计需要花费 6 分钟才能阅读完成。

传统文本分类模型的局限性

在文本分类任务中，传统模型如朴素贝叶斯和 TextCNN 虽然简单高效，但在处理复杂语言现象时表现有限：

• 长文本依赖：TextCNN 的卷积核尺寸固定，难以捕捉长距离语义关系
• 多义词歧义：” 苹果 ” 在水果和科技公司语境下的词向量完全相同
• 语法结构忽略：” 我不喜欢这个设计 ” 和 ” 这个设计我不喜欢 ” 被处理为不同特征

预训练模型技术对比

完整实现流程

1. 环境准备

# 安装核心库
!pip install transformers torchtext seaborn -q
import torch
from transformers import BertTokenizer, BertForSequenceClassification

2. 数据预处理

tokenizer = BertTokenizer.from_pretrained('bert-base-uncased')

def preprocess(text, max_len=128):
    # 自动添加 [CLS] 和[SEP]标记
    encoded = tokenizer.encode_plus(
        text,
        max_length=max_len,
        padding='max_length',
        truncation=True,
        return_attention_mask=True  # 区分真实文本与 padding
    )
    return {'input_ids': encoded['input_ids'],
        'attention_mask': encoded['attention_mask'],
        'token_type_ids': encoded['token_type_ids']
    }

3. 处理类别不平衡

from sklearn.utils.class_weight import compute_class_weight

# 计算类别权重
class_weights = compute_class_weight(
    'balanced',
    classes=np.unique(train_labels),
    y=train_labels
)
weights = torch.tensor(class_weights, dtype=torch.float)

# 在损失函数中使用
loss_fn = torch.nn.CrossEntropyLoss(weight=weights)

4. 模型微调关键代码

model = BertForSequenceClassification.from_pretrained(
    'bert-base-uncased',
    num_labels=num_classes,
    output_attentions=False,
    output_hidden_states=False
)

# 只微调最后 3 层
for param in model.bert.encoder.layer[:-3].parameters():
    param.requires_grad = False

# 混合精度训练节省显存
scaler = torch.cuda.amp.GradScaler()

with torch.cuda.amp.autocast():
    outputs = model(input_ids=batch['input_ids'],
        attention_mask=batch['attention_mask'],
        labels=batch['labels']
    )
    loss = outputs.loss
scaler.scale(loss).backward()

生产环境优化

模型量化对比

ONNX 运行时加速

# 转换模型
torch.onnx.export(
    model,
    (dummy_input_ids, dummy_attention_mask),
    "bert_text_classifier.onnx",
    opset_version=12,
    input_names=['input_ids', 'attention_mask'],
    output_names=['logits']
)

# 使用 ONNX Runtime 推理
import onnxruntime as ort
sess = ort.InferenceSession("bert_text_classifier.onnx")
outputs = sess.run(
    None,
    {"input_ids": input_ids.numpy(), 
     "attention_mask": attention_mask.numpy()}
)

常见问题解决方案

1. OOM 错误
2. 降低 batch size（建议从 16 开始尝试）
3. 使用梯度累积：每 4 个 batch 更新一次参数

4. 启用gradient_checkpointing

5. 过拟合

6. 添加 dropout 层（概率 0.1-0.3）
7. 早停机制（patience=3）

8. 冻结底层参数

9. 预测结果波动

10. 设置随机种子

    torch.manual_seed(42)
    np.random.seed(42)

11. 测试时启用model.eval()

延伸思考

1. 领域适应问题：当遇到医疗 / 法律等专业术语时，是否需要从头预训练？可否通过领域词表扩展 + 继续预训练解决？

2. 多语言场景：处理中英文混合文本时，使用多语言 BERT 还是分别处理后再融合效果更好？

经过完整流程实践，BERT 在复杂文本分类任务上相比传统方法平均可获得 15-20% 的准确率提升。建议首次部署时采用 FP16 精度，在效果和性能间取得平衡。后续可根据实际需求尝试知识蒸馏等优化方案。