深度解析AlexNet：从ImageNet夺冠到现代卷积网络架构演进

1次阅读

共计 2285 个字符，预计需要花费 6 分钟才能阅读完成。

在 2012 年之前，图像识别领域主要依赖手工设计特征（如 SIFT、HOG）配合浅层机器学习模型。传统方法存在两个致命缺陷：

特征工程依赖专家经验，难以适应不同场景
浅层模型无法捕捉图像中的层次化特征

AlexNet 在 ImageNet 竞赛中 top- 5 错误率从 26% 骤降至 15.3%，这个跨越式进步主要得益于以下创新：

首次成功训练深层卷积网络（8 层）
采用 ReLU 激活解决梯度消失
使用 GPU 加速训练过程

 输入 (224x224x3) → Conv1 → Pool1 → Norm1 → Conv2 → Pool2 → Norm2 → Conv3 → Conv4 → Conv5 → Pool5 → FC6 → FC7 → FC8

卷积层配置 ：
Conv1: 96 个 11×11 滤波器，stride=4
Conv2: 256 个 5 ×5 滤波器，pad=2
Conv3-4: 384 个 3 ×3 滤波器，pad=1
Conv5: 256 个 3 ×3 滤波器，pad=1
ReLU 激活优势 ：
计算速度比 Sigmoid 快 6 倍（无指数运算）
在正区间保持梯度不衰减（解决梯度消失）
实验显示比 tanh 快 4 倍收敛
局部响应归一化 (LRN)：
模仿生物神经系统的侧抑制机制
公式：$b_{x,y}^i = a_{x,y}^i / (k+α\sum_{j=max(0,i-n/2)}^{min(N-1,i+n/2)}(a_{x,y}^j)^2)^β$
后续被 BN 层取代（效果更好且更稳定）

import torch
import torch.nn as nn

class AlexNet(nn.Module):
    def __init__(self, num_classes=1000):
        super().__init__()
        self.features = nn.Sequential(# Conv1 ( 跨 GPU 需手动拆分通道)
            nn.Conv2d(3, 48, kernel_size=11, stride=4, padding=2),
            nn.ReLU(inplace=True),
            nn.MaxPool2d(kernel_size=3, stride=2),
            nn.LocalResponseNorm(size=5, alpha=1e-4, beta=0.75),

            # Conv2-Group1 (GPU1)
            nn.Conv2d(48, 128, kernel_size=5, padding=2),
            nn.ReLU(inplace=True),
            nn.MaxPool2d(kernel_size=3, stride=2),
            nn.LocalResponseNorm(size=5, alpha=1e-4, beta=0.75),

            # Conv3-Conv5 (合并 GPU 通信)
            nn.Conv2d(128, 192, kernel_size=3, padding=1),
            nn.ReLU(inplace=True),
            nn.Conv2d(192, 192, kernel_size=3, padding=1),
            nn.ReLU(inplace=True),
            nn.Conv2d(192, 128, kernel_size=3, padding=1),
            nn.ReLU(inplace=True),
            nn.MaxPool2d(kernel_size=3, stride=2),
        )

        self.classifier = nn.Sequential(nn.Dropout(),
            nn.Linear(128*6*6, 2048),
            nn.ReLU(inplace=True),
            nn.Dropout(),
            nn.Linear(2048, 2048),
            nn.ReLU(inplace=True),
            nn.Linear(2048, num_classes),
        )

    def forward(self, x):
        x = self.features(x)
        x = torch.flatten(x, 1)
        x = self.classifier(x)
        return x