共计 1412 个字符，预计需要花费 4 分钟才能阅读完成。
背景介绍
预训练模型在深度学习领域就像一位经验丰富的老师，它能将在大规模数据集上学到的知识迁移到新任务上。CIFAR-10 作为经典的图像分类数据集，包含 10 个类别的 6 万张 32×32 小尺寸彩色图片，非常适合验证轻量级模型效果。而 ResNet18 作为残差网络的代表作，既能有效缓解梯度消失问题，又不会对计算资源造成过大负担。
新手常见痛点
初次尝试时容易遇到以下问题：
- 权重加载报错：直接加载 ImageNet 预训练权重时出现 shape 不匹配
- 输入维度混乱：忘记调整原始图片的 32×32 分辨率到 224×224
- 迁移效果差：全连接层直接复用导致特征维度不兼容
- 显存爆炸：batch_size 设置过大导致 CUDA out of memory
实战步骤详解
1. 环境准备
确保已安装 PyTorch 和 torchvision：
import torch
import torchvision
from torchvision import transforms
print(torch.__version__) # 建议 1.7+2. 正确加载预训练权重
关键点在于通过 pretrained=False 避免自动下载 ImageNet 权重，再手动加载 CIFAR-10 专用权重：
model = torchvision.models.resnet18(pretrained=False)
# 官方提供的 CIFAR-10 适配权重
state_dict = torch.load('resnet18_cifar10.pth')
model.load_state_dict(state_dict)3. 数据预处理标准化
必须使用与训练时相同的归一化参数：
transform = transforms.Compose([transforms.Resize(224), # ResNet 原生输入尺寸
transforms.ToTensor(),
transforms.Normalize(mean=[0.4914, 0.4822, 0.4465], # CIFAR-10 专用均值
std=[0.2023, 0.1994, 0.2010] # CIFAR-10 专用方差
)
])4. 迁移学习改造
修改最后一层全连接层适配 10 分类任务：
import torch.nn as nn
num_classes = 10
model.fc = nn.Linear(512, num_classes) # 原始输出维度 512避坑指南
学习率设置
- 微调阶段建议初始学习率 0.001
- 全连接层可适当调大（如 0.01）
显存优化技巧
- 减小 batch_size（推荐 32-64）
- 使用
torch.cuda.empty_cache() - 开启混合精度训练
scaler = torch.cuda.amp.GradScaler()
with torch.cuda.amp.autocast():
outputs = model(inputs)效果验证
| 模型类型 | Top- 1 准确率 |
|---|---|
| 原始 ResNet18 | 94.2% |
| 微调后模型 | 95.7% |
扩展应用
将该模型迁移到其他分类任务的通用流程：
- 替换数据集路径
- 修改 model.fc 的输出维度
- 调整归一化参数（可选）
- 重新微调最后 3 层参数
实践建议
- 尝试 SGD 优化器配合 momentum=0.9
- 添加 Learning Rate Scheduler
- 使用 wandb 等工具监控训练过程
- 对特征层进行可视化分析
通过这套标准化流程，即使是深度学习新手也能快速完成从模型加载到迁移学习的完整闭环。建议在跑通基线后，逐步尝试数据增强、模型剪枝等进阶优化手段。
正文完
