2000张图片训练300个epoch的过拟合问题：从数据增强到正则化实战

1次阅读

没有评论

共计 2326 个字符，预计需要花费 6 分钟才能阅读完成。

当使用 2000 张图片的小数据集进行 300 个 epoch 的训练时，模型很容易出现过拟合现象。典型表现包括：

训练准确率（train acc）持续上升，甚至接近 100%
验证准确率（val acc）在达到某个峰值后开始下降
训练损失（train loss）不断降低，而验证损失（val loss）开始上升

这种情况下的学习曲线会呈现明显的 ” 剪刀差 ” 形状，训练指标和验证指标之间的差距越来越大。这表明模型正在记忆训练数据的噪声和特定特征，而非学习通用的可泛化模式。

针对小数据集过拟合问题，常见的解决方案包括：

数据增强（Data Augmentation）：通过人工扩展训练数据来增加样本多样性
正则化（Regularization）：L2/L1 正则化、Dropout 等限制模型复杂度的方法
早停法（Early Stopping）：监控验证集性能，在过拟合发生前停止训练
模型简化：减少网络层数或参数数量

在这些方案中，MixUp 数据增强和 Label Smoothing 的组合尤其值得关注：

MixUp 通过在特征空间线性插值生成新样本，鼓励模型行为在训练样本之间更加平滑
Label Smoothing 通过软化硬标签（hard labels）来防止模型对训练标签过度自信
两者结合可以产生协同效应，进一步提升模型泛化能力

import torch

def mixup_data(x, y, alpha=0.4):
    """MixUp 数据增强实现"""
    if alpha > 0:
        lam = np.random.beta(alpha, alpha)
    else:
        lam = 1

    batch_size = x.size()[0]
    index = torch.randperm(batch_size)

    mixed_x = lam * x + (1 - lam) * x[index]
    y_a, y_b = y, y[index]
    return mixed_x, y_a, y_b, lam

# 在训练循环中使用
for epoch in range(epochs):
    for x, y in train_loader:
        x, y_a, y_b, lam = mixup_data(x, y)
        outputs = model(x)
        loss = lam * criterion(outputs, y_a) + (1-lam) * criterion(outputs, y_b)
        ...

class LabelSmoothingCrossEntropy(nn.Module):
    def __init__(self, smoothing=0.1):
        super().__init__()
        self.smoothing = smoothing

    def forward(self, preds, target):
        log_probs = F.log_softmax(preds, dim=-1)
        nll_loss = -log_probs.gather(dim=-1, index=target.unsqueeze(1))
        nll_loss = nll_loss.squeeze(1)
        smooth_loss = -log_probs.mean(dim=-1)
        loss = (1.0 - self.smoothing) * nll_loss + self.smoothing * smooth_loss
        return loss.mean()

class ModelCheckpoint:
    def __init__(self, save_path, monitor='val_acc', mode='max'):
        self.save_path = save_path
        self.monitor = monitor
        self.mode = mode
        self.best_value = -float('inf') if mode == 'max' else float('inf')

    def __call__(self, current_value, model):
        if ((self.mode == 'max' and current_value > self.best_value) or
            (self.mode == 'min' and current_value < self.best_value)):
            torch.save(model.state_dict(), self.save_path)
            self.best_value = current_value

在相同超参数配置下，我们对基础方案和优化方案进行了对比实验：