CIFAR100预训练参数实战指南：从模型加载到迁移学习优化

1次阅读

没有评论

共计 1719 个字符，预计需要花费 5 分钟才能阅读完成。

在深度学习实践中，使用预训练模型进行迁移学习是提升模型性能的常见方法。然而，对于初学者来说，在使用 CIFAR100 预训练模型时，往往会遇到以下问题：

模型加载失败 ：常见错误包括维度不匹配（如输入图像尺寸不符）、参数缺失（如预训练权重未正确加载）等
迁移学习效果差 ：表现为模型在训练集上表现良好，但在验证集上准确率低，即过拟合问题

这些问题往往源于对预训练模型的理解不足和参数设置不当。

不同的预训练模型在 CIFAR100 数据集上的表现存在显著差异：

ResNet50：
优点：深度残差结构缓解梯度消失，适合深层网络
缺点：参数量较大，对小规模数据集可能过拟合
VGG16：
优点：结构简单直观，适合教学演示
缺点：全连接层参数量大，训练效率低

参数冻结策略对训练效率的影响：

全网络微调：训练时间长，资源消耗大
仅微调顶层：训练快但可能欠拟合
分层解冻：平衡训练效率和模型性能

import torch
import torchvision.models as models

# 加载预训练模型
model = models.resnet50(pretrained=True)

# 修改最后一层适配 CIFAR100 的 100 类输出
num_ftrs = model.fc.in_features
model.fc = torch.nn.Linear(num_ftrs, 100)

# 加载 checkpoint（含错误处理）try:
    checkpoint = torch.load('cifar100_pretrained.pth')
    model.load_state_dict(checkpoint['model_state_dict'])
except FileNotFoundError:
    print("预训练权重文件未找到")
except KeyError:
    print("模型状态字典键不匹配")

# 不同层组设置不同学习率
optimizer = torch.optim.SGD([{'params': model.conv1.parameters(), 'lr': 0.001},
    {'params': model.layer1.parameters(), 'lr': 0.005},
    {'params': model.fc.parameters(), 'lr': 0.01}
], momentum=0.9)

from torchvision import transforms

train_transform = transforms.Compose([transforms.RandomHorizontalFlip(p=0.5),  # 水平翻转概率 50%
    transforms.ColorJitter(
        brightness=0.2,  # 亮度调整范围±20%
        contrast=0.2,    # 对比度调整范围±20%
        saturation=0.2,  # 饱和度调整范围±20%
        hue=0.1          # 色相调整范围±10%
    ),
    transforms.ToTensor(),
    transforms.Normalize(mean=[0.507, 0.487, 0.441],  # CIFAR100 统计值
        std=[0.267, 0.256, 0.276]
    )
])

在 RTX 3090（CUDA 11.3）环境下实测：