BERT二分类过拟合问题实战：从数据增强到模型正则化的解决方案

1次阅读

共计 2515 个字符，预计需要花费 7 分钟才能阅读完成。

在实际业务场景中，我们经常遇到标注数据有限的二分类任务（如垃圾邮件识别、情感分析等）。当使用 BERT 这类大型预训练模型时，经常观察到训练集准确率高达 98%，而验证集准确率仅 70% 左右的过拟合现象。这主要是因为：

数据维度诅咒 ：BERT 的 768/1024 维隐藏层在少量数据下容易记住样本噪声
注意力头冗余 ：12/16 层 Transformer 中部分注意力头对当前任务贡献度趋近于零

EDA(Easy Data Augmentation)
同义词替换 (SR)：随机替换 20% 非停用词
随机插入 (RI)：随机选取词的同义词插入句子
随机交换 (RS)：随机交换两个词的位置
随机删除 (RD)：以概率 p 删除每个词

# EDA 示例
def synonym_replacement(words, n):
    new_words = words.copy()
    random_word_list = list(set([word for word in words if word not in stopwords]))
    random.shuffle(random_word_list)
    for _ in range(n):
        new_words = [synonym_dict.get(word, word) for word in new_words]
    return new_words

Back Translation
中 -> 英 -> 德 -> 中回译链条
实践发现对语义不变性要求高的任务效果优于 EDA

针对类别不平衡问题（如正负样本比例 1:9）：

$$
FL(p_t) = -\alpha_t(1-p_t)^\gamma \log(p_t)
$$

其中：
– $\alpha_t$ 平衡类别权重
– $\gamma$ 聚焦难样本（通常设 2）

class FocalLoss(nn.Module):
    def __init__(self, alpha=0.25, gamma=2):
        super().__init__()
        self.alpha = alpha
        self.gamma = gamma

    def forward(self, inputs, targets):
        BCE_loss = F.binary_cross_entropy_with_logits(inputs, targets, reduction='none')
        pt = torch.exp(-BCE_loss)
        loss = self.alpha * (1-pt)**self.gamma * BCE_loss
        return loss.mean()

动态关闭冗余 Transformer 层：

计算每层注意力头的平均重要性得分
对得分低于阈值的层按概率 p 关闭

class BertWithDynamicDropout(BertPreTrainedModel):
    def __init__(self, config):
        super().__init__(config)
        self.bert = BertModel(config)
        self.dropout = nn.Dropout(config.hidden_dropout_prob)
        self.classifier = nn.Linear(config.hidden_size, 2)
        self.layer_scores = nn.Parameter(torch.zeros(config.num_hidden_layers))

    def forward(self, input_ids, attention_mask=None):
        layer_mask = (torch.sigmoid(self.layer_scores) > 0.5).float()
        outputs = self.bert(
            input_ids,
            attention_mask=attention_mask,
            layer_mask=layer_mask
        )
        # ... 后续分类逻辑

关键参数设置：
– $\epsilon$=1e-3（扰动步长）
– $\alpha$=2e-5（单步扰动强度）
– K=3（扰动步数）

def pgd_attack(model, inputs, epsilon=1e-3, alpha=2e-5, iters=3):
    origin_embeds = model.bert.embeddings.word_embeddings(input_ids)
    delta = torch.zeros_like(origin_embeds).uniform_(-epsilon, epsilon)
    for _ in range(iters):
        delta.requires_grad_()
        inputs['inputs_embeds'] = origin_embeds + delta
        loss = model(**inputs).loss
        loss.backward()
        delta = (delta + alpha*delta.grad.detach().sign()).clamp(-epsilon, epsilon)
    return origin_embeds + delta.detach()

在 CLUE-TNEWS 数据集上的表现：