BERT二分类任务中的过拟合问题：原理分析与实战解决方案

1次阅读

没有评论

共计 2142 个字符，预计需要花费 6 分钟才能阅读完成。

在 IMDb 影评二分类任务中，我们观察到典型的过拟合现象：

训练集准确率快速达到 98% 以上，而验证集准确率卡在 85% 附近
F1-score 在验证集上呈现先升后降的抛物线形态
验证集 loss 在 3 个 epoch 后开始反弹上升，与训练 loss 持续下降形成剪刀差

通过 PyTorch 的 torch.utils.tensorboard 记录的训练曲线显示，当 base BERT 模型在 10k 条训练数据上：

第 5 个 epoch 时验证集 F1 达到峰值 0.87
第 10 个 epoch 时验证集 F1 回落到 0.82，而训练 F1 升至 0.99

对比三种常见正则化方法在 BERT 上的表现（基于 IMDb 测试集）：

方法	最佳验证 F1	过拟合延迟 (epoch)
Early Stopping	0.86	+2
Dropout(p=0.1)	0.85	+3
Label Smoothing(0.1)	0.87	+4

传统方法的主要局限在于：

Early Stopping 浪费了预训练模型的表征能力
固定比率的 Dropout 与 BERT 的注意力机制存在冲突
Label Smoothing 对预训练任务产生的 logits 分布扰动不足

提出基于 KL 散度的自适应权重衰减策略，核心思想是：

当模型预测置信度越高时，施加越强的 L2 正则化
使用验证集准确率变化率动态调整衰减系数

PyTorch 实现关键代码（需 torch>=1.8）：

class DynamicWeightDecay:
    def __init__(self, model: nn.Module, base_wd: float = 1e-4):
        self.model = model
        self.base_wd = base_wd
        self.kl_loss = nn.KLDivLoss(reduction='batchmean')

    def __call__(self, logits: torch.Tensor) -> float:
        # 计算预测分布与均匀分布的 KL 散度
        uniform_dist = torch.ones_like(logits) / logits.size(-1)
        current_kl = self.kl_loss(logits.log_softmax(dim=-1), uniform_dist)

        # 动态调整系数（经实验验证的转换函数）dynamic_factor = 1 + torch.sigmoid(current_kl - 1.0).item()
        return self.base_wd * dynamic_factor

结合 TextAttack 框架实现对抗训练：

from textattack.augmentation import Augmenter
from textattack.transformations import WordSwapEmbedding

# 配置对抗样本生成器
augmenter = Augmenter(
    transformation=WordSwapEmbedding(
        max_candidates=50,
        embedding_type='glove'),
    constraints=[],
    pct_words_to_swap=0.3,
    transformations_per_example=2
)

# 训练循环中的关键步骤
def train_step(batch, model):
    clean_inputs = batch['input_ids'].to(device)

    # 生成对抗样本
    adv_inputs = augmenter.augment_batch(clean_inputs.cpu())
    adv_inputs = adv_inputs.to(device)

    # 混合损失计算
    clean_loss = F.cross_entropy(model(clean_inputs), batch['labels'])
    adv_loss = F.cross_entropy(model(adv_inputs), batch['labels'])
    return 0.7 * clean_loss + 0.3 * adv_loss

在 IMDb 数据集（25k 条）上的超参数热力图显示：