BERT二分类任务实战：从微调原理到验证避坑指南

1次阅读

没有评论

共计 2100 个字符，预计需要花费 6 分钟才能阅读完成。

在文本二分类任务中，新手常遇到以下问题：

样本不均衡：正负样本比例悬殊时，模型容易偏向多数类
过拟合：BERT 参数量大，在小数据集上容易记住训练样本
评价指标误导：仅看准确率可能掩盖模型在少数类上的糟糕表现

[CLS]向量：直接使用 BERT 输出的首个 token 向量，包含全局信息但可能丢失细节
平均池化：对最后一层所有 token 取平均，保留更多词汇特征但引入无关信息

实验数据显示，在 IMDb 影评数据集上：[CLS]向量微调后 F1=0.92，平均池化 F1=0.89

交叉熵损失：默认选择，但对样本不均衡敏感
Focal Loss：通过 γ 参数降低易分类样本权重，γ= 2 时少数类召回率提升 15%

!pip install transformers==4.28.0 torch==2.0.0

from transformers import BertTokenizer
tokenizer = BertTokenizer.from_pretrained('bert-base-uncased')

def encode_text(text, max_len=128):
    return tokenizer.encode_plus(
        text,
        max_length=max_len,
        padding='max_length',
        truncation=True,
        return_tensors='pt'
    )

import torch.nn as nn
from transformers import BertModel

class BertClassifier(nn.Module):
    def __init__(self, dropout=0.2):
        super().__init__()
        self.bert = BertModel.from_pretrained('bert-base-uncased')
        self.dropout = nn.Dropout(dropout)
        self.linear = nn.Linear(768, 1)  # 二分类输出 1 维

    def forward(self, input_ids, attention_mask):
        outputs = self.bert(input_ids, attention_mask=attention_mask)
        pooled = outputs.last_hidden_state[:, 0, :]  # 取 [CLS] 向量
        return self.linear(self.dropout(pooled))

保持类别比例分层抽样
建议比例：训练集 70%、验证集 15%、测试集 15%

from sklearn.metrics import precision_recall_fscore_support

def evaluate(model, dataloader):
    model.eval()
    all_preds, all_labels = [], []

    with torch.no_grad():
        for batch in dataloader:
            outputs = model(batch['input_ids'], batch['attention_mask'])
            preds = (torch.sigmoid(outputs) > 0.5).int()
            all_preds.extend(preds.cpu())
            all_labels.extend(batch['labels'].cpu())

    precision, recall, f1, _ = precision_recall_fscore_support(all_labels, all_preds, average='binary')
    return {'precision': precision, 'recall': recall, 'f1': f1}

学习率预热：前 10% 训练步数线性增加学习率
梯度裁剪 ：设置max_grad_norm=1.0 防止梯度爆炸
模型保存：同时保存最佳模型和最后模型

实现示例：

from transformers import AdamW, get_linear_schedule_with_warmup

optimizer = AdamW(model.parameters(), lr=2e-5)
scheduler = get_linear_schedule_with_warmup(
    optimizer,
    num_warmup_steps=100,
    num_training_steps=1000
)