从零实现ResNet-18图像分类：模型选择与三大优化策略实战

1次阅读

共计 2246 个字符，预计需要花费 6 分钟才能阅读完成。

图像分类是计算机视觉的基础任务，常用评价指标包括：

准确率 (Accuracy)：正确预测样本数 / 总样本数，直观但受类别分布影响
F1-score：精确率与召回率的调和平均，适合类别不平衡场景

CIFAR-10 数据集包含：

10 类彩色图像（飞机、汽车、鸟等）
50k 训练 +10k 测试样本
32×32 低分辨率特性（需注意信息密度）

模型	参数量	FLOPs	适用场景
全连接网络	~1.2M	~2.4M	MNIST 级简单任务
LeNet-5	~60k	~0.4M	早期手写数字识别
ResNet-18	~11M	~1.8G	现代 CV 任务基准

残差结构优势：

解决深层网络梯度消失
恒等映射保留原始特征
参数量与性能的平衡点

# torchvision 标准处理流程
train_transform = transforms.Compose([transforms.RandomCrop(32, padding=4),  # 随机裁剪留白
    transforms.RandomHorizontalFlip(),     # 水平翻转增强
    transforms.ToTensor(),
    transforms.Normalize((0.4914, 0.4822, 0.4465), 
                         (0.2023, 0.1994, 0.2010)) # CIFAR10 统计值
])

# 验证集无需增强
test_transform = transforms.Compose([transforms.ToTensor(),
    transforms.Normalize((0.4914, 0.4822, 0.4465), 
                         (0.2023, 0.1994, 0.2010))
])

class BasicBlock(nn.Module):
    def __init__(self, in_planes, planes, stride=1):
        super().__init__()
        self.conv1 = nn.Conv2d(in_planes, planes, 
                              kernel_size=3, stride=stride, 
                              padding=1, bias=False)
        self.bn1 = nn.BatchNorm2d(planes)
        self.conv2 = nn.Conv2d(planes, planes, 
                              kernel_size=3, stride=1,
                              padding=1, bias=False)
        self.bn2 = nn.BatchNorm2d(planes)

        # 下采样时调整维度
        self.shortcut = nn.Sequential()
        if stride != 1 or in_planes != planes:
            self.shortcut = nn.Sequential(
                nn.Conv2d(in_planes, planes,
                         kernel_size=1, stride=stride, bias=False),
                nn.BatchNorm2d(planes)
            )

    def forward(self, x):
        out = F.relu(self.bn1(self.conv1(x)))
        out = self.bn2(self.conv2(out))
        out += self.shortcut(x)  # 残差连接核心
        return F.relu(out)

批次大小	显存占用	迭代速度	最终准确率
32	2.1GB	120it/s	92.3%
128	4.8GB	380it/s	91.7%

经验：小 batch 更易收敛但耗时，大 batch 需配合学习率升温 (warmup)

# SGD with momentum
optimizer = torch.optim.SGD(model.parameters(), 
                           lr=0.1, 
                           momentum=0.9,
                           weight_decay=5e-4)

# Adam
optimizer = torch.optim.Adam(model.parameters(),
                            lr=0.001,
                            betas=(0.9, 0.999))

对比曲线显示 ：
– Adam 初期收敛快但易震荡
– SGD+ 动量最终精度更高（需配合学习率衰减）

策略组合	训练准确率	测试准确率	过拟合程度
仅标准化	99.8%	89.2%	严重
裁剪 + 翻转	95.1%	92.7%	显著改善
裁剪 + 翻转 +Cutout	93.6%	93.9%	最佳

线性缩放原则：当 batch 扩大 k 倍，lr 也应扩大 k 倍
实际调整公式：new_lr = base_lr * (new_bs / base_bs)

# 监控梯度范数
total_norm = torch.nn.utils.clip_grad_norm_(model.parameters(), 
               max_norm=2.0)  # 阈值根据任务调整
if total_norm > 10:
    print(f'梯度异常: {total_norm.item()}')

# 当验证损失连续 5 轮不下降时停止
early_stopper = EarlyStopper(patience=5, min_delta=0.01)

for epoch in range(EPOCHS):
    val_loss = validate()
    if early_stopper.early_stop(val_loss):
        break