CIFAR-10图像分类实战：如何用Transformer模型超越CNN基准性能

1次阅读

共计 1548 个字符，预计需要花费 4 分钟才能阅读完成。

在 CIFAR-10 这样的 32×32 小尺寸图像分类任务中，CNN 的局部感受野设计反而可能成为限制。典型的 3 ×3 卷积核每次只能看到 9 个像素点的关系，虽然通过堆叠卷积层可以扩大感受野，但这种间接的全局信息获取方式会导致：

浅层网络难以建模长距离依赖
深层网络出现梯度消失 / 爆炸
重复下采样造成空间信息丢失

这解释了为什么在 CIFAR-10 上，ResNet-18 的测试准确率常年在 94-95% 徘徊。

模型	参数量 (M)	FLOPs(G)	准确率 (%)
ResNet-18	11.2	0.56	94.7
ViT-Tiny	5.7	1.3	96.2
Swin-Tiny	28.3	4.5	97.1

上表展示在相同训练配置下的性能对比

Transformer 通过自注意力机制实现了：

全局感知能力：每个 patch 可以直接与其它所有 patch 交互
动态权重分配：重要区域自动获得更高注意力权重
并行计算优势：无需像 CNN 那样顺序执行卷积操作

# 将 32x32 图像切割成 8x8 的 patch（共 16 个）class PatchEmbed(nn.Module):
    def __init__(self, img_size=32, patch_size=8, in_chans=3, embed_dim=192):
        super().__init__()
        self.proj = nn.Conv2d(in_chans, embed_dim, 
                             kernel_size=patch_size, 
                             stride=patch_size)  # 输出形状：(B, 192, 4, 4)
        self.norm = nn.LayerNorm(embed_dim)

    def forward(self, x):
        x = self.proj(x)  # [B, C, H, W] -> [B, D, H/P, W/P]
        x = x.flatten(2).transpose(1, 2)  # -> [B, num_patches, D]
        return self.norm(x)

不同颜色的方块代表不同位置的位置编码向量，可以看到相邻 patch 具有相似但不同的编码

scaler = torch.cuda.amp.GradScaler()

for epoch in range(epochs):
    model.train()
    for x, y in train_loader:
        x, y = x.to(device), y.to(device)

        with torch.cuda.amp.autocast():
            logits = model(x)
            loss = criterion(logits, y)

        optimizer.zero_grad()
        scaler.scale(loss).backward()
        scaler.step(optimizer)
        scaler.update()