CIFAR-10深度学习实战：从经典CNN到Transformer的模型对比与优化

1次阅读

共计 2113 个字符，预计需要花费 6 分钟才能阅读完成。

CIFAR-10 作为经典的图像分类基准数据集，包含 10 个类别的 60000 张 32×32 彩色图像。其小尺寸特性带来两个核心挑战：

低分辨率导致传统图像特征（如边缘、纹理）提取困难
深层 CNN 容易因重复下采样而丢失空间信息

通过 torchvision 加载数据集时可观察到，原始图像仅占常规 ImageNet 尺寸的 1 /100 面积，这使得常规 CNN 的 3 ×3 卷积核可能覆盖过大感受野。

模型	参数量 (M)	FLOPs(G)	测试准确率 (%)	单 epoch 训练时间 (s)
LeNet-5	0.6	0.03	68.2	28
ResNet-18	11.2	0.56	92.1	145
EfficientNet-B0	4.0	0.39	93.7	162
ViT-Tiny	5.7	1.2	89.4	210

测试环境：RTX 3090, PyTorch 1.12, CUDA 11.3

transform_train = transforms.Compose([transforms.RandomCrop(32, padding=4),
    transforms.RandomHorizontalFlip(),
    transforms.RandomApply([transforms.ColorJitter(0.4, 0.4, 0.4)], p=0.8),
    transforms.RandomGrayscale(p=0.2),
    transforms.ToTensor(),
    transforms.Normalize((0.4914, 0.4822, 0.4465), (0.2023, 0.1994, 0.2010)),
    transforms.RandomErasing(p=0.5, scale=(0.02, 0.1), ratio=(0.3, 3.3))
])

初始化 scaler
前向传播使用 autocast
反向传播前执行 scaler.scale

scaler = torch.cuda.amp.GradScaler()

with torch.cuda.amp.autocast():
    outputs = model(inputs)
    loss = criterion(outputs, targets)

scaler.scale(loss).backward()
scaler.step(optimizer)
scaler.update()

通过 torch.cuda.memory_allocated() 监测发现：

ResNet-18 在 batch_size=128 时占用 4.2GB 显存
相同条件下 ViT-Tiny 显存需求达 5.8GB
使用混合精度可减少约 40% 显存消耗

测试不同 batch_size 下的 GPU 利用率（nvidia-smi 监测）：

batch_size=64：GPU 利用率 65%~75%
batch_size=128：GPU 利用率 85%~95%
batch_size=256：出现显存不足错误

采用 Focal Loss 代替标准交叉熵：

class FocalLoss(nn.Module):
    def __init__(self, alpha=1, gamma=2):
        super().__init__()
        self.alpha = alpha
        self.gamma = gamma

    def forward(self, inputs, targets):
        BCE_loss = F.cross_entropy(inputs, targets, reduction='none')
        pt = torch.exp(-BCE_loss)
        loss = self.alpha * (1-pt)**self.gamma * BCE_loss
        return loss.mean()

Label Smoothing 实现：

def smooth_one_hot(true_labels, classes, smoothing=0.1):
    confidence = 1.0 - smoothing
    label_shape = (true_labels.size(0), classes)
    with torch.no_grad():
        true_dist = torch.empty(size=label_shape, device=true_labels.device)
        true_dist.fill_(smoothing / (classes - 1))
        true_dist.scatter_(1, true_labels.data.unsqueeze(1), confidence)
    return true_dist