CIFAR100过拟合问题全解析：从数据增强到模型正则化的实战指南

1次阅读

共计 2160 个字符，预计需要花费 6 分钟才能阅读完成。

CIFAR100 作为经典的细粒度图像分类数据集，包含 100 个类别共 60000 张 32×32 小尺寸图片。由于类别间相似度高且训练样本有限（每类仅 500 张），模型极易出现训练准确率（如 85%）远高于验证准确率（如 60%）的典型过拟合现象。本文将用 PyTorch 实现一套组合拳解决方案。

基础增强的保底效果
RandomCrop（padding=4）配合 HorizontalFlip 能提供基础的数据多样性，以下是 PyTorch 实现：

transform_train = transforms.Compose([transforms.RandomCrop(32, padding=4),
    transforms.RandomHorizontalFlip(),
    transforms.ToTensor(),
    transforms.Normalize((0.5071, 0.4867, 0.4408), (0.2675, 0.2565, 0.2761))
])

注意 Normalize 参数需使用 CIFAR100 的官方均值方差

高级混合增强的威力
CutMix 和 MixUp 通过图像混合创造虚拟样本，能显著提升模型泛化能力。以 CutMix 为例：

def cutmix_data(x, y, alpha=1.0):
    lam = np.random.beta(alpha, alpha)
    batch_size = x.size(0)
    index = torch.randperm(batch_size)
    bbx1, bby1, bbx2, bby2 = rand_bbox(x.size(), lam)
    x[:, :, bbx1:bbx2, bby1:bby2] = x[index, :, bbx1:bbx2, bby1:bby2]
    y_a, y_b = y, y[index]
    return x, y_a, y_b, lam

需同步调整损失函数为 lam * criterion(output, y_a) + (1 - lam) * criterion(output, y_b)

Dropout 的精细配置
对于 ResNet18，建议在全连接层前加入 dropout（p=0.5），而卷积层后使用较小的 dropout（p=0.2）:

class ResNetWithDropout(nn.Module):
    def __init__(self):
        super().__init__()
        self.base = torchvision.models.resnet18(num_classes=100)
        self.base.fc = nn.Sequential(nn.Dropout(0.5),
            self.base.fc
        )

权重衰减的调参艺术
Adam 优化器配合 L2 正则化时，推荐初始设置 weight_decay=5e-4，需注意：
学习率较大时（如 0.1）应减小 weight_decay
使用混合精度训练时需适当增大 weight_decay

早停法的智能判定
建议监控验证集 loss 而非准确率，patience 设为 10 个 epoch：

early_stopper = EarlyStopper(patience=10, min_delta=0.001)
if early_stopper.validate(val_loss):
    break

# 模型定义
model = ResNetWithDropout().cuda()

# 优化器配置
optimizer = torch.optim.AdamW(model.parameters(), 
                            lr=0.001,
                            weight_decay=5e-4)

# 训练循环
for epoch in range(200):
    model.train()
    for x, y in train_loader:
        x, y = x.cuda(), y.cuda()

        # CutMix 数据增强
        x, y_a, y_b, lam = cutmix_data(x, y)

        outputs = model(x)
        loss = lam * F.cross_entropy(outputs, y_a) + \
               (1-lam) * F.cross_entropy(outputs, y_b)

        optimizer.zero_grad()
        loss.backward()
        optimizer.step()