基于Transformer的CIFAR-10图像分类实战：从数据预处理到模型优化

1次阅读

共计 1821 个字符，预计需要花费 5 分钟才能阅读完成。

用 CNN 处理 CIFAR-10 这类小尺寸图像时，经常会遇到几个典型问题：

感受野限制：3×3 卷积核在 32×32 图像上需要 6 层才能覆盖全局，浅层网络难以捕获长距离依赖
过度平移不变性：CNN 的归纳偏置可能忽略关键位置信息，比如鸟类图像中喙与翅膀的相对位置
特征复用效率低：相同卷积核在不同位置重复计算，对于简单纹理占主导的 CIFAR-10 略显冗余

架构	参数量(M)	准确率(%)	显存占用(MB)	适合小图原因
ViT-Tiny	5.7	91.2	890	可配置 patch_size=4
Swin-T	7.1	92.4	1100	局部窗口注意力
ConvNeXt-T	8.1	91.8	1200	CNN 与 ViT 混合架构

class PatchEmbed(nn.Module):
    """将 32x32 图像分割为 8x8 的 patch(默认 patch_size=8)"""
    def __init__(self, img_size=32, patch_size=8, in_chans=3, embed_dim=192):
        super().__init__()
        num_patches = (img_size // patch_size) ** 2  # 计算总 patch 数
        self.proj = nn.Conv2d(in_chans, embed_dim, 
                            kernel_size=patch_size, 
                            stride=patch_size)  # 用卷积实现分块

    def forward(self, x):
        x = self.proj(x)  # [B, 3, 32, 32] -> [B, 192, 4, 4]
        x = x.flatten(2).transpose(1, 2)  # [B, 192, 16] -> [B, 16, 192]
        return x

通过 matplotlib 绘制注意力权重矩阵时，可以清晰看到模型关注的重点区域。实测发现：

浅层头更多关注局部边缘
深层头出现明显的类别相关注意力模式（如飞机图像的机翼区域）

def adjust_learning_rate(optimizer, epoch, args):
    """线性 warmup + cosine 衰减"""
    if epoch < args.warmup_epochs:
        lr = args.lr * epoch / args.warmup_epochs 
    else:
        decay_ratio = (epoch - args.warmup_epochs) / (args.epochs - args.warmup_epochs)
        lr = args.lr * 0.5 * (1.0 + math.cos(math.pi * decay_ratio))

    for param_group in optimizer.param_groups:
        param_group['lr'] = lr

精度模式	显存占用(MB)	训练速度(iter/s)	验证准确率
FP32	1200	45	91.2%
AMP(混合精度)	780	62	91.1%

patch_size= 4 时 FLOPs 增加 4 倍但准确率仅提升 1.3%
patch_size=16 会导致明显的信息丢失

位置编码陷阱：
绝对位置编码在 32×32 图像上容易过拟合
推荐使用相对位置编码或可学习的小尺寸位置嵌入
数据增强兼容性：
Cutout 会破坏 patch 的完整性
颜色抖动比空间变换更有效

# 符合 Google Style 的张量操作注释
def forward(self, x):
    """
    Args:
        x: [B, C, H, W] 输入张量
    Returns:
        [B, L, D] 序列化特征
    """
    B, C, H, W = x.shape  # 显式获取维度
    x = self.patch_embed(x)  # [B, L, D]
    cls_token = self.cls_token.expand(B, -1, -1)  # [1, 1, D] -> [B, 1, D]
    x = torch.cat((cls_token, x), dim=1)  # [B, L+1, D]