从零开始理解AlexNet：深度学习革命的起点与实战解析

1次阅读

共计 2409 个字符，预计需要花费 7 分钟才能阅读完成。

2012 年，多伦多大学的 Alex Krizhevsky 等人提出的 AlexNet 在 ImageNet 竞赛中以显著优势夺冠，将 Top- 5 错误率从 26% 骤降至 15.3%。这一突破首次证明深度卷积神经网络（CNN）在大规模图像识别任务中的潜力，直接推动了深度学习复兴。当时主流方法仍依赖手工特征（如 SIFT），而 AlexNet 通过端到端学习自动提取特征的模式，彻底改变了计算机视觉领域的研究范式。

传统神经网络使用 Sigmoid 或 Tanh 激活函数，存在梯度消失问题。AlexNet 采用 ReLU（Rectified Linear Unit），其计算简单（max(0,x)）且能缓解梯度消失。类比：ReLU 像开关，只允许正信号通过，比 Sigmoid 的 ” 渐进响应 ” 更高效。

LRN 模仿生物神经系统的侧向抑制机制，对局部神经元活动做归一化。虽然现代网络多用 BatchNorm 替代，但 LRN 在当年有效提升了泛化能力。

传统池化步长等于窗口大小（如 2 ×2 池化步长 2）。AlexNet 使用步长小于窗口（如 3 ×3 池化步长 2），增加特征多样性。

AlexNet 包含 5 个卷积层和 3 个全连接层，核心设计如下：

输入层 ：接收 224x224x3 的 RGB 图像（实际因论文笔误应为 227×227）
卷积层 1 ：96 个 11×11 滤波器，步长 4，输出 55x55x96
池化层 1 ：3×3 最大池化，步长 2
卷积层 2 ：256 个 5 ×5 滤波器，填充 2
池化层 2 ：同上
卷积层 3 -5：三个 3 ×3 卷积层，共 384-256-256 通道
全连接层 ：两个 4096 单元层 +1000 单元输出层（对应 ImageNet 类别）

关键细节 ：
– 使用双 GPU 并行（当时 GTX 580 显存限制）
– 第 2 /4/ 5 卷积层仅在同一 GPU 内连接
– 全连接层应用 Dropout（0.5 概率失活）

import torch
import torch.nn as nn

class SimpleAlexNet(nn.Module):
    def __init__(self, num_classes=1000):
        super().__init__()
        self.features = nn.Sequential(# 卷积层 1: [3,227,227] -> [96,55,55]
            nn.Conv2d(3, 96, kernel_size=11, stride=4, padding=0),
            nn.ReLU(inplace=True),
            nn.MaxPool2d(kernel_size=3, stride=2),  # -> [96,27,27]

            # 卷积层 2: [96,27,27] -> [256,27,27]
            nn.Conv2d(96, 256, kernel_size=5, padding=2),
            nn.ReLU(inplace=True),
            nn.MaxPool2d(kernel_size=3, stride=2),  # -> [256,13,13]

            # 卷积层 3 - 5 保持 13x13 空间分辨率
            nn.Conv2d(256, 384, kernel_size=3, padding=1),
            nn.ReLU(inplace=True),
            nn.Conv2d(384, 384, kernel_size=3, padding=1),
            nn.ReLU(inplace=True),
            nn.Conv2d(384, 256, kernel_size=3, padding=1),
            nn.ReLU(inplace=True),
            nn.MaxPool2d(kernel_size=3, stride=2),  # -> [256,6,6]
        )

        self.classifier = nn.Sequential(nn.Dropout(p=0.5),
            nn.Linear(256*6*6, 4096),
            nn.ReLU(inplace=True),
            nn.Dropout(p=0.5),
            nn.Linear(4096, 4096),
            nn.ReLU(inplace=True),
            nn.Linear(4096, num_classes),
        )

    def forward(self, x):
        x = self.features(x)
        x = torch.flatten(x, 1)
        x = self.classifier(x)
        return x

训练要点 ：
– 数据增强：随机裁剪（224×224）、水平翻转、颜色抖动
– 优化器：SGD 动量 0.9，初始学习率 0.01（每 epoch 衰减）
– 批量大小：现代 GPU 建议 256（原论文 128 需双 GPU）