从AlexNet到现代卷积网络：深度解析CNN在复杂视觉任务中的演进与实战

1次阅读

共计 2273 个字符，预计需要花费 6 分钟才能阅读完成。

在 AlexNet 问世之前（2012 年），计算机视觉领域主要依赖手工设计特征（如 SIFT、HOG）配合浅层机器学习模型（如 SVM）。这种传统方法存在两大瓶颈：

特征表达有限 ：手工特征难以捕捉图像中的层次化信息，尤其对复杂纹理、光照变化的适应性差
泛化能力不足 ：特征工程高度依赖领域知识，不同任务需要重新设计特征提取流程

ReLU 激活函数 ：
传统使用 tanh/sigmoid 存在梯度消失问题
ReLU（$f(x)=max(0,x)$）计算简单且缓解梯度消失
实验表明训练速度比 tanh 快 6 倍
局部响应归一化（LRN）：
对局部神经元活动进行抑制，增强泛化能力
公式：$b_{x,y}^i = a_{x,y}^i / (k+α\sum_{j=max(0,i-n/2)}^{min(N-1,i+n/2)}(a_{x,y}^j)^2)^β$
现代网络更常用 BatchNorm 替代
重叠池化 ：
传统池化 stride 等于 kernel size
AlexNet 采用 3×3 核，stride=2，提升特征丰富性
双 GPU 并行 ：
受当时硬件限制，网络切分到两块 GTX 580 GPU
现代实现可忽略此设计
分层结构 ：
5 个卷积层 + 3 个全连接层的深度架构
首次证明深度对视觉任务的关键作用

Dropout：
在全连接层以 0.5 概率随机丢弃神经元
防止神经元过度协同，类似模型集成效果
数据增强 ：
随机裁剪（256→224）、水平翻转
PCA 颜色扰动（对 RGB 通道进行主成分扰动）
动量梯度下降 ：
使用动量系数 0.9 加速收敛
权重衰减（L2 正则）系数 0.0005

import torch
import torch.nn as nn

class AlexNet(nn.Module):
    def __init__(self, num_classes=10):
        super().__init__()
        self.features = nn.Sequential(
            # 卷积层 1: 输入 3 通道, 输出 96, kernel_size=11, stride=4
            nn.Conv2d(3, 96, kernel_size=11, stride=4, padding=2),
            nn.ReLU(inplace=True),
            nn.MaxPool2d(kernel_size=3, stride=2),

            # 卷积层 2: 输入 96, 输出 256, kernel_size=5
            nn.Conv2d(96, 256, kernel_size=5, padding=2),
            nn.ReLU(inplace=True),
            nn.MaxPool2d(kernel_size=3, stride=2),

            # 连续 3 个卷积层
            nn.Conv2d(256, 384, kernel_size=3, padding=1),
            nn.ReLU(inplace=True),
            nn.Conv2d(384, 384, kernel_size=3, padding=1),
            nn.ReLU(inplace=True),
            nn.Conv2d(384, 256, kernel_size=3, padding=1),
            nn.ReLU(inplace=True),
            nn.MaxPool2d(kernel_size=3, stride=2),
        )
        self.classifier = nn.Sequential(nn.Dropout(p=0.5),
            nn.Linear(256*6*6, 4096),  # 原论文输入是 256*6*6
            nn.ReLU(inplace=True),
            nn.Dropout(p=0.5),
            nn.Linear(4096, 4096),
            nn.ReLU(inplace=True),
            nn.Linear(4096, num_classes),
        )

    def forward(self, x):
        x = self.features(x)
        x = torch.flatten(x, 1)
        x = self.classifier(x)
        return x