共计 1949 个字符，预计需要花费 5 分钟才能阅读完成。

背景与痛点

在 NLP 的二分类任务中，BERT 模型虽然强大，但微调过程常遇到以下问题：

• 数据不平衡 ：正负样本比例悬殊时，模型容易偏向多数类
• 过拟合 ：小数据集上全参数微调可能导致验证集性能骤降
• 计算成本高 ：微调所有参数需要大量显存和训练时间

技术方案对比

两种主流微调策略的对比：

1. 全参数微调
2. 优点：充分适应目标任务
3. 缺点：需要大量数据，训练成本高

4. 适用场景：数据量 >10k 条时推荐

5. 部分层微调（冻结底层）

6. 优点：训练速度快，防止过拟合
7. 缺点：可能丢失重要特征
8. 适用场景：数据量 <5k 条时建议

核心实现

数据预处理

关键步骤：

1. 使用 BERT tokenizer 进行子词切分
2. 添加特殊 token（[CLS], [SEP]）
3. 构建 attention mask
4. 对于小数据集建议使用：
5. 同义词替换
6. 随机插入 / 删除

from transformers import BertTokenizer
tokenizer = BertTokenizer.from_pretrained('bert-base-uncased')

def preprocess(text):
    return tokenizer(
        text,
        padding='max_length',
        truncation=True,
        max_length=128,
        return_tensors='pt'
    )

模型架构

标准实现方案：

import torch.nn as nn
from transformers import BertModel

class BertForBinaryClassification(nn.Module):
    def __init__(self):
        super().__init__()
        self.bert = BertModel.from_pretrained('bert-base-uncased')
        self.classifier = nn.Linear(768, 1)  # 二分类输出

    def forward(self, input_ids, attention_mask):
        outputs = self.bert(input_ids, attention_mask=attention_mask)
        pooled_output = outputs.pooler_output
        return torch.sigmoid(self.classifier(pooled_output))

损失函数优化

处理不平衡数据的技巧：

# 加权交叉熵损失
pos_weight = torch.tensor([10.0])  # 根据正样本比例调整
criterion = nn.BCEWithLogitsLoss(pos_weight=pos_weight)

完整训练示例

核心训练循环：

from sklearn.metrics import f1_score

def train_epoch(model, dataloader, optimizer):
    model.train()
    total_loss = 0

    for batch in dataloader:
        optimizer.zero_grad()

        inputs = batch['input_ids'].to(device)
        masks = batch['attention_mask'].to(device)
        labels = batch['labels'].float().to(device)

        outputs = model(inputs, masks)
        loss = criterion(outputs.view(-1), labels)
        loss.backward()
        optimizer.step()

        total_loss += loss.item()

    return total_loss / len(dataloader)

验证与评估

指标选择指南

• 准确率 ：类别平衡时使用
• 召回率 ：漏检成本高时关注
• F1 值 ：不平衡数据的最佳指标

混淆矩阵分析

from sklearn.metrics import confusion_matrix

y_true = [0, 1, 0, 1]
y_pred = [1, 1, 0, 0]
print(confusion_matrix(y_true, y_pred))

输出示例：

[[1 1]
 [1 1]]  # 对角线为正确预测 

生产环境建议

1. 小数据集技巧
2. 使用早停法（patience=3）

3. 分层 k 折交叉验证

4. 类别不平衡

5. 过采样少数类

6. 调整分类阈值

7. 部署优化

8. 使用 ONNX 格式加速
9. 量化模型（FP16->INT8）

延伸思考

可探索方向：

1. 领域自适应：先在海量领域数据上 pretrain
2. 知识蒸馏：用大模型指导小模型
3. 对抗训练：提升模型鲁棒性

实践建议

建议读者：

1. 从公开数据集（如 IMDB 评论）开始实验
2. 尝试不同的学习率（推荐 2e- 5 到 5e-5）
3. 监控验证集 loss 避免过拟合

经过完整流程的微调后，在测试集上通常能达到 90%+ 的准确率。关键是要根据任务特点选择合适的微调策略和数据增强方法。