CIFAR100过拟合实战：从数据增强到模型正则化的新手避坑指南

1次阅读

没有评论

共计 1230 个字符，预计需要花费 4 分钟才能阅读完成。

CIFAR100 是一个经典的图像分类数据集，包含 100 个细粒度类别，每张图片只有 32×32 像素。这种小尺寸、多类别的特性让模型很容易记住训练样本的噪声而非学习通用特征（即过拟合）。

新手常犯的错误包括：

盲目堆叠卷积层，导致参数量爆炸
忽略数据增强，直接使用原始图像训练
只看训练准确率，忽视验证集表现

过拟合的典型表现是：训练准确率很快达到 90%+，但验证准确率卡在 50% 左右——这意味着模型只是在死记硬背。

通过随机变换增加数据多样性：

RandomCrop(32, padding=4)：随机裁剪时保留边缘内容
HorizontalFlip(p=0.5)：水平翻转（适合对称物体）
ColorJitter：轻微调整亮度 / 对比度

Dropout：随机丢弃部分神经元（推荐设置）：
卷积后通常用 0.1-0.3
全连接层建议 0.5
L2 正则化 ：在优化器中设置 weight_decay（推荐 1e-4~5e-4）

Early Stopping：当验证损失连续 3 轮不下降时终止训练
学习率衰减：每 20 轮乘以 0.1

关键代码片段（PyTorch）：

# 数据增强
train_transform = transforms.Compose([transforms.RandomCrop(32, padding=4),  # 填充后随机裁剪
    transforms.RandomHorizontalFlip(),     # 50% 概率水平翻转
    transforms.ToTensor(),])

# 带 Dropout 的模型
class Net(nn.Module):
    def __init__(self):
        super().__init__()
        self.conv1 = nn.Conv2d(3, 64, 3, padding=1)
        self.dropout = nn.Dropout(0.2)  # 卷积后轻度丢弃
        self.fc = nn.Linear(256, 100)

    def forward(self, x):
        x = F.relu(self.conv1(x))
        x = self.dropout(x)
        x = self.fc(x)
        return x

# 优化器加入 L2 正则化
optimizer = torch.optim.SGD(model.parameters(), 
    lr=0.1, 
    weight_decay=5e-4  # L2 惩罚项
)