CIFAR100预训练参数实战指南：从模型加载到迁移学习优化

1次阅读

没有评论

共计 2051 个字符，预计需要花费 6 分钟才能阅读完成。

在深度学习的实践中，使用预训练模型可以大大节省训练时间并提高模型性能。然而，对于初学者来说，加载 CIFAR100 预训练参数时常常会遇到一些问题。

维度不匹配 ：CIFAR100 的图像尺寸是 32×32，而许多预训练模型（如 ImageNet 上训练的模型）默认输入尺寸是 224×224。直接加载会导致维度错误。
参数缺失 ：部分预训练模型可能缺少某些层的参数，导致加载失败。
过拟合和低准确率 ：迁移学习中，由于 CIFAR100 和预训练模型的数据分布不同，容易出现过拟合或准确率不高的问题。

不同的预训练模型在 CIFAR100 上的表现差异较大，选择合适的模型是关键。

ResNet50：由于残差结构的设计，ResNet50 在 CIFAR100 上表现较好，训练稳定，适合大多数场景。
VGG16：参数量较大，训练速度较慢，但在某些任务上可能表现更好。

参数冻结策略对训练效率有显著影响：

冻结全部层 ：只训练最后的分类层，训练速度快，但可能无法适应 CIFAR100 的数据分布。
冻结部分层 ：冻结底层（如卷积层），微调高层，可以在训练速度和模型性能之间取得平衡。

import torch
import torchvision.models as models
from torch import nn

# 加载预训练 ResNet50
model = models.resnet50(pretrained=True)

# 修改最后的全连接层以适应 CIFAR100 的 100 类分类
num_features = model.fc.in_features
model.fc = nn.Linear(num_features, 100)

# 加载预训练参数（假设有自定义的 checkpoint）try:
    checkpoint = torch.load('resnet50_cifar100.pth')
    model.load_state_dict(checkpoint['model_state_dict'])
except Exception as e:
    print(f"加载预训练参数失败: {e}")

from torch.optim import Adam

# 分层设置学习率
optimizer = Adam([{'params': model.conv1.parameters(), 'lr': 1e-5},
    {'params': model.layer1.parameters(), 'lr': 1e-4},
    {'params': model.fc.parameters(), 'lr': 1e-3}
], lr=1e-4)

from torchvision import transforms

train_transform = transforms.Compose([transforms.RandomHorizontalFlip(p=0.5),  # 水平翻转，增加数据多样性
    transforms.ColorJitter(brightness=0.2, contrast=0.2, saturation=0.2, hue=0.1),  # 颜色抖动
    transforms.ToTensor(),
    transforms.Normalize(mean=[0.5071, 0.4867, 0.4408], std=[0.2675, 0.2565, 0.2761])  # CIFAR100 的均值和方差
])

使用混合精度训练可以显著减少显存占用：

from torch.cuda.amp import GradScaler, autocast

scaler = GradScaler()

for inputs, labels in train_loader:
    inputs, labels = inputs.to(device), labels.to(device)

    with autocast():
        outputs = model(inputs)
        loss = criterion(outputs, labels)

    scaler.scale(loss).backward()
    scaler.step(optimizer)
    scaler.update()