BNInception预训练权重深度解析：从模型架构到迁移学习实战

1次阅读

没有评论

共计 1993 个字符，预计需要花费 5 分钟才能阅读完成。

在迁移学习中，直接使用 BNInception 的预训练权重往往会遇到几个典型问题：

输入尺寸不匹配 ：原始模型输入为 224×224，但实际任务可能需要其他尺寸
BatchNorm 层冻结难题 ：微调时是否冻结 BN 层参数会显著影响模型表现
学习率一刀切 ：特征提取器和分类器需要不同的学习率策略
权重转换障碍 ：官方提供的 Caffe 格式权重需要转换为 PyTorch 格式

这些问题如果处理不当，轻则导致模型性能下降，重则训练过程直接崩溃。

BNInception（又称 Inception-v2）在传统 Inception 结构上做出了两大改进：

批量归一化（BatchNorm）的全面引入
在每个卷积层后增加 BN 层
使用滑动平均记录全局均值和方差
预训练权重中包含 running_mean 和 running_var 参数
Inception 模块优化
使用 5 ×5 卷积堆叠替代大卷积核
增加特征重用路径

结构示意图：

Input
├─1x1 Conv
├─1x1 Conv → 3x3 Conv
├─1x1 Conv → 3x3 Conv → 3x3 Conv
└─3x3 MaxPool → 1x1 Conv

import torch
import torch.nn as nn
from torch.utils.model_zoo import load_url

# Caffe 格式转换函数
def convert_caffe_weights(state_dict):
    new_dict = {}
    for k, v in state_dict.items():
        if 'bn' in k:
            if '_mean' in k:
                new_k = k.replace('_mean', 'running_mean')
            elif '_var' in k:
                new_k = k.replace('_var', 'running_var')
            else:
                new_k = k
        else:
            new_k = k
        new_dict[new_k] = torch.FloatTensor(v)
    return new_dict

# 加载预训练权重
model_url = 'http://data.lip6.fr/cadene/pretrainedmodels/bn_inception-52deb4733.pth'
state_dict = load_url(model_url)
model.load_state_dict(convert_caffe_weights(state_dict))

# 定义参数组
param_groups = [{'params': model.features.parameters(), 'lr': 1e-4},  # 特征提取器
    {'params': model.classifier.parameters(), 'lr': 1e-3}  # 分类器
]

optimizer = torch.optim.SGD(param_groups, momentum=0.9)

我们在 ImageNet-1k 子集上测试了不同策略：

策略	Top- 1 准确率	GPU 显存占用	训练时间 /epoch
全网络微调	78.2%	10.4GB	45min
冻结特征提取器	76.1%	6.8GB	32min
仅微调最后 3 个 Inception 模块	77.8%	8.2GB	38min

BatchNorm 模式问题
训练时：务必使用 model.train()
验证时：必须切换 model.eval()
否则会导致指标异常波动
数据归一化参数

必须使用与预训练相同的均值和标准差：

transform = transforms.Compose([transforms.Resize(256),
    transforms.CenterCrop(224),
    transforms.ToTensor(),
    transforms.Normalize(mean=[0.485, 0.456, 0.406], 
        std=[0.229, 0.224, 0.225])
])