AlexNet卷积网络结构图解析：从理论到高效实现

1次阅读

共计 1941 个字符，预计需要花费 5 分钟才能阅读完成。

AlexNet 作为深度学习在计算机视觉领域的里程碑式模型，2012 年以绝对优势赢得 ImageNet 竞赛，首次证明深度卷积神经网络在图像分类任务中的强大能力。然而在实际应用中，开发者常遇到以下问题：

显存占用大：原始模型参数量约 6000 万，单个 GPU 训练时容易出现 OOM 错误
训练速度慢：受限于当时的硬件条件，设计未充分考虑计算效率优化
现代框架适配问题：部分原始实现方式（如分组卷积）与当前标准库存在差异

AlexNet 包含 5 个卷积层和 3 个全连接层，其核心设计亮点包括：

ReLU 激活函数：
首次大规模使用 ReLU 替代 Sigmoid，缓解梯度消失问题
计算式：$f(x) = max(0,x)$
局部响应归一化(LRN)：
对局部神经元活动进行抑制，增强泛化能力
公式：$b_{x,y}^i = a_{x,y}^i / (k + α \sum_{j=max(0,i-n/2)}^{min(N-1,i+n/2)} (a_{x,y}^j)^2 )^β$
重叠池化：
采用 3×3 池化窗口，步长 2（传统为 2×2 步长 2）
提升特征平移不变性
双 GPU 并行结构：
受当时显存限制，创新性使用分组卷积
现代实现中可简化为单路结构

import torch
import torch.nn as nn
import torch.nn.functional as F

class AlexNet(nn.Module):
    def __init__(self, num_classes=1000):
        super(AlexNet, self).__init__()
        self.features = nn.Sequential(
            # 卷积层 1: 输入 3 通道，输出 96，核 11x11，步长 4
            nn.Conv2d(3, 96, kernel_size=11, stride=4, padding=2),
            nn.ReLU(inplace=True),
            nn.MaxPool2d(kernel_size=3, stride=2),

            # 卷积层 2: 输入 96，输出 256，核 5x5
            nn.Conv2d(96, 256, kernel_size=5, padding=2),
            nn.ReLU(inplace=True),
            nn.MaxPool2d(kernel_size=3, stride=2),

            # 剩余卷积层...
        )
        self.classifier = nn.Sequential(nn.Dropout(),
            nn.Linear(256 * 6 * 6, 4096),
            nn.ReLU(inplace=True),
            # 全连接层...
        )

    def forward(self, x):
        x = self.features(x)
        x = torch.flatten(x, 1)
        x = self.classifier(x)
        return x

关键实现细节：

使用 nn.Sequential 组织网络结构，提升代码可读性
inplace=True的 ReLU 操作节省显存
原始 LRN 层在现代框架中常被省略（实验表明影响有限）

from torch.cuda.amp import autocast, GradScaler

scaler = GradScaler()

with autocast():
    output = model(input)
    loss = criterion(output, target)
scaler.scale(loss).backward()
scaler.step(optimizer)
scaler.update()

使用 torchvision.datasets.ImageFolder 配合DataLoader
设置num_workers=4（根据 CPU 核心数调整）
启用 pin_memory=True 加速 GPU 传输

scheduler = torch.optim.lr_scheduler.StepLR(optimizer, 
                                           step_size=30, 
                                           gamma=0.1)