2012年神经网络在计算机视觉中的突破：从AlexNet到现代CV架构的演进

1次阅读

共计 1817 个字符，预计需要花费 5 分钟才能阅读完成。

在 AlexNet 出现之前，计算机视觉领域主要依赖手工设计的特征提取器（如 SIFT、HOG）配合浅层分类器（如 SVM）。这些方法在 2010-2012 年的 ImageNet 竞赛中表现出了明显局限性：

特征表达能力有限：手工特征对视角变化、遮挡等场景泛化能力差
准确率停滞：2011 年最佳模型 Top- 5 错误率仍高达 25.8%
调参复杂：需要针对不同任务设计专门的特征组合策略

AlexNet 通过以下核心设计颠覆了传统范式（结构示意图见附录）：

多 GPU 并行架构 ：首次在 CNN 中使用双 GPU 训练，将网络分为上下两个分支
ReLU 激活函数 ：相比传统 sigmoid，解决了梯度消失问题且计算速度更快
局部响应归一化 (LRN)：模仿生物神经系统的侧向抑制机制（后被 BN 层取代）
重叠池化 ：使用 3×3 池化窗口 + 2 步长，提升特征丰富性
Dropout 正则化 ：在全连接层以 0.5 概率随机失活神经元
数据增强 ：随机裁剪 + 水平翻转扩充训练样本
动量优化 ：采用 momentum=0.9 的 SGD 加速收敛
学习率衰减 ：初始 lr=0.01，验证误差停滞时除以 10

import torch
import torch.nn as nn

class AlexNet(nn.Module):
    def __init__(self, num_classes=1000):
        super().__init__()
        self.features = nn.Sequential(
            # Conv1: 224x224x3 -> 55x55x96
            nn.Conv2d(3, 96, kernel_size=11, stride=4, padding=2),
            nn.ReLU(inplace=True),
            nn.LocalResponseNorm(size=5, alpha=0.0001, beta=0.75),
            nn.MaxPool2d(kernel_size=3, stride=2),  # 27x27x96

            # Conv2: 27x27x96 -> 27x27x256
            nn.Conv2d(96, 256, kernel_size=5, padding=2, groups=2),
            nn.ReLU(inplace=True),
            nn.LocalResponseNorm(size=5, alpha=0.0001, beta=0.75),
            nn.MaxPool2d(kernel_size=3, stride=2),  # 13x13x256

            # 后续卷积层省略...
        )
        self.classifier = nn.Sequential(nn.Dropout(p=0.5),
            nn.Linear(256*6*6, 4096),
            nn.ReLU(inplace=True),
            nn.Dropout(p=0.5),
            nn.Linear(4096, 4096),
            nn.ReLU(inplace=True),
            nn.Linear(4096, num_classes),
        )

    def forward(self, x):
        x = self.features(x)
        x = torch.flatten(x, 1)
        x = self.classifier(x)
        return x

在 CIFAR-10 上的测试结果（RTX 3090 单卡）：