1998卷积网络：从LeNet-5到现代深度学习的演进与实战

1次阅读

共计 1740 个字符，预计需要花费 5 分钟才能阅读完成。

1998 年，Yann LeCun 等人提出了 LeNet-5，这是首个成功应用于手写数字识别的卷积神经网络（CNN）。当时的计算机视觉任务主要依赖人工设计的特征提取器，如 SIFT 或 HOG，这些方法不仅耗时且泛化能力有限。LeNet- 5 的诞生标志着端到端学习的开端，它通过卷积层自动学习特征，大幅提升了识别效率。

人工特征的局限性 ：传统方法需要手动设计特征，难以适应复杂多变的图像数据。
计算资源限制 ：90 年代的硬件条件有限，LeNet- 5 通过局部连接和权值共享降低了参数量。
标准化数据集的缺失 ：MNIST 数据集的发布为 LeNet- 5 的验证提供了基础。

LeNet- 5 与现代 CNN 架构（如 ResNet、EfficientNet）相比，体现了深度学习的发展脉络：

网络深度 ：LeNet- 5 仅 5 层，而现代 CNN 可达数百层，得益于残差连接等技术的引入。
卷积核设计 ：LeNet- 5 使用 5 ×5 卷积，现代网络更多采用 3 ×3 或深度可分离卷积。
激活函数 ：原始论文使用 tanh，现已被 ReLU 及其变种取代。
正则化手段 ：现代网络普遍使用 BatchNorm 和 Dropout，而 LeNet- 5 仅依赖权重衰减。

LeNet- 5 的网络结构包含以下关键组件：

输入层 ：接收 32×32 的灰度图像（MNIST 图像被填充至此尺寸）。
卷积层 C1：6 个 5 ×5 卷积核，步长 1，输出 6@28×28 特征图。
池化层 S2：2×2 平均池化，步长 2，输出 6@14×14。
卷积层 C3：16 个 5 ×5 卷积核，采用特殊的连接模式（非全连接）。
池化层 S4：同上，输出 16@5×5。
全连接层 C5：120 个神经元，flatten 后连接。
输出层 ：10 个神经元对应 0 - 9 分类，使用 softmax 激活。

以下是 PyTorch 实现的核心代码片段：

import torch.nn as nn

class LeNet5(nn.Module):
    def __init__(self):
        super().__init__()
        self.conv1 = nn.Conv2d(1, 6, 5, padding=2)  # 保持 28x28 尺寸
        self.avgpool = nn.AvgPool2d(2)
        self.conv2 = nn.Conv2d(6, 16, 5)
        self.fc1 = nn.Linear(16*5*5, 120)
        self.fc2 = nn.Linear(120, 84)
        self.fc3 = nn.Linear(84, 10)

    def forward(self, x):
        x = torch.tanh(self.conv1(x))
        x = self.avgpool(x)
        x = torch.tanh(self.conv2(x))
        x = self.avgpool(x)
        x = torch.flatten(x, 1)
        x = torch.tanh(self.fc1(x))
        x = torch.tanh(self.fc2(x))
        x = self.fc3(x)
        return x

在 MNIST 测试集上的基准表现：