从AlexNet到现代：深度卷积网络在图像识别中的演进与优化实践

1次阅读

共计 1913 个字符，预计需要花费 5 分钟才能阅读完成。

2012 年，AlexNet 在 ImageNet 竞赛中以 top- 5 错误率 15.3% 的成绩夺冠，相比传统方法 26.2% 的错误率实现跨越式突破。这个由 Alex Krizhevsky 设计的 8 层卷积网络，首次验证了深度学习在计算机视觉领域的潜力，其创新设计成为后续研究的基准模板。

指标	传统方法 (SIFT+SVM)	AlexNet
Top- 5 错误率	26.2%	15.3%
特征提取方式	手工设计	自动学习
参数量级	约 1M	约 60M
训练硬件需求	CPU 单机	2 块 GTX 580

1. 双 GPU 并行设计 ：受当时显存限制，创新性地将网络分布在两块 GPU 上
2. ReLU 激活函数 ：相比传统 sigmoid，解决梯度消失问题并使训练速度提升 6 倍
3. 局部响应归一化 (LRN)：增强局部抑制，后被证明效果有限
4. 重叠池化 ：3×3 池化窗口采用 stride=2，提升特征多样性
5. Dropout 层 ：在全连接层使用 0.5 丢弃率，显著减少过拟合

import torch
import torch.nn as nn

class AlexNet(nn.Module):
    def __init__(self, num_classes=1000):
        super().__init__()
        self.features = nn.Sequential(nn.Conv2d(3, 64, kernel_size=11, stride=4, padding=2),  # Conv1
            nn.ReLU(inplace=True),
            nn.MaxPool2d(kernel_size=3, stride=2),  # Pool1
            nn.Conv2d(64, 192, kernel_size=5, padding=2),  # Conv2
            nn.ReLU(inplace=True),
            nn.MaxPool2d(kernel_size=3, stride=2),  # Pool2
            # 后续各层省略...
        )
        self.classifier = nn.Sequential(nn.Dropout(),
            nn.Linear(256*6*6, 4096),  # FC6
            nn.ReLU(inplace=True),
            nn.Dropout(),
            nn.Linear(4096, 4096),     # FC7
            nn.ReLU(inplace=True),
            nn.Linear(4096, num_classes) # FC8
        )

    def forward(self, x):
        x = self.features(x)
        x = torch.flatten(x, 1)
        x = self.classifier(x)
        return x

通道剪枝 ：通过评估卷积核重要性，移除冗余通道

# 使用 torch-pruner 工具示例
from torch_pruning import L1NormPruner
pruner = L1NormPruner(model, example_inputs)
pruner.step(amount=0.3)  # 剪枝 30% 通道

量化部署 ：将 FP32 转为 INT8，模型大小减少 4 倍

model = torch.quantization.quantize_dynamic(model, {nn.Linear}, dtype=torch.qint8
)

混合精度训练 ：自动管理 FP16/FP32 转换

from torch.cuda.amp import autocast, GradScaler
scaler = GradScaler()

with autocast():
    outputs = model(inputs)
    loss = criterion(outputs, labels)
scaler.scale(loss).backward()
scaler.step(optimizer)
scaler.update()