BERT二分类任务微调实战：从数据预处理到模型验证的完整指南

1次阅读

没有评论

共计 3394 个字符，预计需要花费 9 分钟才能阅读完成。

在 NLP 领域，BERT 已经成为文本分类任务的标配模型。但在实际业务场景中，我们常常遇到以下几个典型问题：

小样本过拟合 ：当训练数据不足时（比如只有几千条样本），BERT 容易记住训练集特征而导致验证集表现差
长文本处理效率低 ：BERT 的最大长度限制（通常 512token）和全连接层的计算复杂度，使得处理长文档时显存爆炸
验证集泄露 ：由于数据划分不当或预处理不一致，导致验证集指标虚高但实际部署效果差

这些问题直接影响了模型在真实业务中的可用性。接下来我将分享一套经过工业场景验证的解决方案。

BERT 应用于下游任务主要有两种方式，需要根据数据特点选择：

Feature-based（特征提取）
固定 BERT 权重，仅将其作为特征提取器
适用场景：训练数据极少（<1k）、计算资源有限
优点：训练快，不易过拟合
缺点：无法充分利用预训练知识
Fine-tuning（全参数微调）
解冻 BERT 部分或全部层进行端到端训练
适用场景：训练数据充足（>5k）、追求最佳效果
优点：模型容量利用充分
缺点：需要更多计算资源，可能过拟合

实际项目中，我推荐先尝试 Fine-tuning，当出现过拟合时再切换到 Feature-based 或加入下文介绍的优化技巧。

首先安装必要库（建议使用虚拟环境）：

pip install transformers torch datasets

关键是要保证训练 / 验证 / 测试集的处理流程完全一致：

from transformers import BertTokenizer

tokenizer = BertTokenizer.from_pretrained('bert-base-uncased')

def preprocess(text, label, max_len=128):
    # 统一转换为小写，避免大小写敏感问题
    text = text.lower()  
    # 自动处理截断和 padding
    inputs = tokenizer(
        text, 
        max_length=max_len,
        padding='max_length',
        truncation=True,
        return_tensors='pt'
    )
    return {'input_ids': inputs['input_ids'].squeeze(0),
        'attention_mask': inputs['attention_mask'].squeeze(0),
        'labels': torch.tensor(label, dtype=torch.long)
    }

使用 HuggingFace 的 PyTorch 接口：

from transformers import BertForSequenceClassification

model = BertForSequenceClassification.from_pretrained(
    'bert-base-uncased',
    num_labels=2,
    output_attentions=True  # 为后续可视化保留 attention 权重
)

采用带 warmup 的 AdamW 和动态学习率：

from transformers import AdamW, get_linear_schedule_with_warmup

# 分层学习率设置（浅层小，深层大）optimizer = AdamW([{'params': model.bert.embeddings.parameters(), 'lr': 1e-5},
    {'params': model.bert.encoder.layer[:6].parameters(), 'lr': 2e-5},
    {'params': model.bert.encoder.layer[6:].parameters(), 'lr': 3e-5},
    {'params': model.classifier.parameters(), 'lr': 5e-5}
])

# warmup 步数设为总步数的 10%
total_steps = len(train_loader) * epochs
warmup_steps = int(total_steps * 0.1)
scheduler = get_linear_schedule_with_warmup(
    optimizer, 
    num_warmup_steps=warmup_steps,
    num_training_steps=total_steps
)

当正负样本比例悬殊时（如 1:9），使用 Focal Loss：

import torch.nn as nn

class FocalLoss(nn.Module):
    def __init__(self, alpha=0.25, gamma=2):
        super().__init__()
        self.alpha = alpha
        self.gamma = gamma

    def forward(self, inputs, targets):
        BCE_loss = nn.functional.cross_entropy(inputs, targets, reduction='none')
        pt = torch.exp(-BCE_loss)
        loss = self.alpha * (1-pt)**self.gamma * BCE_loss
        return loss.mean()

检测训练集和测试集分布是否一致：

将原始训练集和测试集合并，并打上来源标签（训练集 =0，测试集 =1）
训练一个二分类模型区分样本来源
如果模型 AUC>0.7，说明存在显著分布偏移

分析模型关注的重点词：

import matplotlib.pyplot as plt

def plot_attention(text, attention_weights):
    tokens = tokenizer.tokenize(text)
    fig, ax = plt.subplots(figsize=(10, 5))
    ax.imshow(attention_weights, cmap='hot', interpolation='nearest')
    ax.set_xticks(range(len(tokens)))
    ax.set_xticklabels(tokens, rotation=45)
    plt.show()

# 获取最后一个层的 [CLS]token 对各词的 attention
cls_attention = attentions[-1][:, :, 0, :].mean(dim=1).squeeze()
plot_attention(sample_text, cls_attention)

当验证集准确率明显高于测试集时，按以下步骤排查：

检查数据划分是否随机
确认预处理流程完全一致（特别是文本清洗步骤）
检查验证集是否存在标签泄漏（如包含测试集用户 ID）
重新进行对抗验证

使用 FP16 时需注意：

梯度裁剪值要适当增大（如从 1.0 调到 5.0）
在优化器更新前需手动 unscale 梯度
监控是否有梯度下溢（出现大量 0 值）

梯度检查点 （gradient checkpointing）：
```
model.gradient_checkpointing_enable()
```
可减少约 30% 显存，但会增加 25% 训练时间

动态 padding：

from transformers import DataCollatorWithPadding

data_collator = DataCollatorWithPadding(
    tokenizer, 
    padding='longest',  # 按 batch 内最长序列 padding
    max_length=256
)

在 RTX 3090 上的实测对比：