CIFAR100 SOTA模型实战：从数据增强到模型架构优化

1次阅读

共计 2528 个字符，预计需要花费 7 分钟才能阅读完成。

CIFAR100 是一个经典的计算机视觉数据集，包含 100 个类别的 60000 张 32×32 彩色图像。相比 CIFAR10，CIFAR100 的类别更多，每类样本更少，这使得模型更容易过拟合。此外，32×32 的低分辨率也增加了特征提取的难度。当前 SOTA 方法在 CIFAR100 上的准确率约 90%，但普遍存在训练时间长、模型复杂度高的问题。

ResNet 系列 ：经典的残差网络，通过跳接解决梯度消失问题，在 CIFAR100 上表现稳定但创新性有限
EfficientNet：通过复合缩放实现精度和效率的平衡，但需要调整缩放系数适应小尺寸输入
Vision Transformer：在 ImageNet 上表现出色，但在小数据集上可能欠拟合，需要特殊设计
ConvMixer：新提出的轻量级架构，在低分辨率图像上展现出竞争力

经过实验比较，我们选择改进版的 ResNet 作为基础架构，因其在小数据集上的稳定表现和可扩展性。

基础增强 ：随机水平翻转、随机裁剪（带 padding）、归一化
高级增强 ：CutMix（混合两幅图像的区域）、AutoAugment（自动学习最优增强策略）
特殊处理 ：针对 CIFAR100 的低分辨率特性，避免过度模糊的增强操作

残差块改进 ：使用 Pre-activation 结构，优化梯度流动
宽度调整 ：在原始 ResNet 基础上增加通道数，平衡模型容量和计算量
注意力机制 ：在中间层添加轻量级 CBAM 注意力模块
分类头优化 ：使用标签平滑（Label Smoothing）缓解过拟合

学习率调度 ：余弦退火配合热重启（CosineAnnealingWarmRestarts）
优化器选择 ：AdamW 配合权重衰减
混合精度训练 ：使用 Apex 库加速训练
早停机制 ：基于验证集准确率动态调整训练轮次

transform_train = transforms.Compose([transforms.RandomCrop(32, padding=4),
    transforms.RandomHorizontalFlip(),
    transforms.ToTensor(),
    transforms.Normalize((0.5071, 0.4867, 0.4408), (0.2675, 0.2565, 0.2761))
])

# CutMix 实现
class CutMix:
    def __init__(self, alpha=1.0):
        self.alpha = alpha

    def __call__(self, batch):
        images, targets = batch
        indices = torch.randperm(images.size(0))
        shuffled_targets = targets[indices]
        lam = np.random.beta(self.alpha, self.alpha)

        # 生成随机矩形区域
        bbx1, bby1, bbx2, bby2 = rand_bbox(images.size(), lam)
        images[:, :, bbx1:bbx2, bby1:bby2] = images[indices, :, bbx1:bbx2, bby1:bby2]

        # 调整 lambda 确保在边界内
        lam = 1 - ((bbx2 - bbx1) * (bby2 - bby1) / (images.size(-1) * images.size(-2)))
        return images, targets, shuffled_targets, lam

class ResNet(nn.Module):
    def __init__(self, block, layers, num_classes=100):
        super(ResNet, self).__init__()
        self.inplanes = 64
        self.conv1 = nn.Conv2d(3, 64, kernel_size=3, stride=1, padding=1, bias=False)
        self.bn1 = nn.BatchNorm2d(64)
        self.relu = nn.ReLU(inplace=True)
        self.layer1 = self._make_layer(block, 64, layers[0])
        self.layer2 = self._make_layer(block, 128, layers[1], stride=2)
        self.layer3 = self._make_layer(block, 256, layers[2], stride=2)
        self.layer4 = self._make_layer(block, 512, layers[3], stride=2)
        self.avgpool = nn.AdaptiveAvgPool2d((1, 1))
        self.fc = nn.Linear(512 * block.expansion, num_classes)

        # 添加 CBAM 注意力模块
        self.cbam1 = CBAM(64 * block.expansion)
        self.cbam2 = CBAM(128 * block.expansion)
        self.cbam3 = CBAM(256 * block.expansion)