基于CIFAR-10官方预训练ResNet18权重的图像分类实战与调优指南

1次阅读

没有评论

共计 2430 个字符，预计需要花费 7 分钟才能阅读完成。

在实际项目中使用预训练模型时，经常会遇到以下几个典型问题：

预训练模型与目标域不匹配 ：ImageNet 预训练的 ResNet18 在 CIFAR-10 上直接使用时，由于图像尺寸（32×32 vs 224×224）和类别分布的差异，会导致性能下降明显
小样本场景下的过拟合风险 ：当训练数据不足时（如每类只有几百张图片），深层网络容易记住训练集特征而丧失泛化能力
计算资源限制 ：在边缘设备部署时，原始模型参数量（约 11M）和计算量可能超出硬件承载能力

基础结构：由 16 个卷积层 + 1 个全连接层组成，包含 4 个 stage 的残差块
预训练特性：官方权重在 ImageNet 上训练，第一层卷积核尺寸为 7 ×7（需适配 CIFAR 的 3 ×3）
特征提取能力：浅层学习通用边缘 / 纹理特征，高层捕获语义信息

特征提取模式 ：冻结除最后一层外的所有权重，仅训练分类器
优点：训练快、资源占用低
缺点：难以适应大的领域差异
微调模式 ：解冻全部或部分层进行端到端训练
推荐方案：先特征提取预热，再解冻高层微调

针对 CIFAR-10 的 32×32 小尺寸特点：

基础增强：RandomCrop(32, padding=4) + RandomHorizontalFlip()
高级增强：Cutout(16×16) 或 MixUp（α=0.2）
注意：避免使用大尺度旋转等破坏空间关系的变换

# 硬件要求：GPU 显存≥4GB
import torch
print(f"PyTorch 版本: {torch.__version__}")
print(f"CUDA 可用: {torch.cuda.is_available()}")

from torchvision import models
import torch.nn as nn

# 加载官方预训练权重
model = models.resnet18(weights='IMAGENET1K_V1')

# 改造第一层卷积（3x3 核适配 32x32 输入）model.conv1 = nn.Conv2d(3, 64, kernel_size=3, stride=1, padding=1, bias=False)

# 替换最后的全连接层（10 分类）model.fc = nn.Linear(512, 10)

# 冻结除 fc 外的所有层（特征提取阶段）for param in model.parameters():
    param.requires_grad = False
model.fc.requires_grad = True

# 学习率策略示例
optimizer = torch.optim.SGD(filter(lambda p: p.requires_grad, model.parameters()),
    lr=0.01,
    momentum=0.9,
    weight_decay=5e-4
)
scheduler = torch.optim.lr_scheduler.CosineAnnealingLR(optimizer, T_max=200)

# 早停实现
best_acc = 0
patience = 5
counter = 0

for epoch in range(200):
    train_one_epoch()
    val_acc = evaluate()

    if val_acc > best_acc:
        best_acc = val_acc
        torch.save(model.state_dict(), 'best.pth')
        counter = 0
    else:
        counter += 1
        if counter >= patience:
            print(f'Early stopping at epoch {epoch}')
            break

使用 torch.utils.benchmark 进行测速：

from torch.utils.benchmark import Timer

input_tensor = torch.randn(1, 3, 32, 32).cuda()
timer = Timer(stmt='model(input)',
    globals={'model': model, 'input': input_tensor}
)
print(timer.timeit(100))  # 执行 100 次取平均

# 动态量化（减小模型尺寸）quantized_model = torch.quantization.quantize_dynamic(model, {nn.Linear}, dtype=torch.qint8
)
torch.save(quantized_model.state_dict(), 'quantized.pth')

必须使用与预训练相同的归一化参数：

transform = transforms.Compose([transforms.ToTensor(),
    transforms.Normalize(mean=[0.485, 0.456, 0.406], 
        std=[0.229, 0.224, 0.225]
    )
])

使用加权交叉熵损失：

class_counts = get_class_counts()  # 获取每类样本数
weights = 1. / torch.tensor(class_counts, dtype=torch.float)
criterion = nn.CrossEntropyLoss(weight=weights.cuda())