从LeNet到现代卷积网络：1989年LeCun等人的开创性工作及其演进

1次阅读

没有评论

共计 1911 个字符，预计需要花费 5 分钟才能阅读完成。

在 1989 年之前，图像处理任务主要依赖于传统的全连接神经网络。然而，这种网络结构在处理图像时面临几个关键问题：

参数爆炸：全连接网络需要为每个像素分配一个权重，导致参数数量急剧增加。例如，一个 100×100 像素的图像输入到全连接层，仅第一层就可能产生数百万个参数。
平移不变性缺失：传统网络无法有效识别图像中平移、旋转或缩放后的目标。
计算效率低下：由于参数数量庞大，训练和推理过程需要极高的计算资源。

LeCun 等人提出的卷积神经网络（CNN）通过引入局部连接和权重共享机制，大幅减少了参数数量，同时保留了图像的空间结构信息。

LeNet 与传统全连接网络的主要区别体现在以下几个方面：

局部感受野：卷积层通过滑动窗口（卷积核）在输入图像上提取局部特征，而非全连接方式。
权重共享：同一卷积核在整张图像上滑动，共享参数，显著减少参数量。
池化操作：通过下采样（如最大池化）降低特征图维度，增强平移不变性。

以 MNIST 手写数字识别为例，LeNet- 5 仅需约 6 万个参数，而同等输入尺寸的全连接网络可能需要数十倍参数。

LeNet-5（1998 年版本）的典型架构如下：

输入层：接收 32×32 的灰度图像（MNIST 图像经填充调整）。
卷积层 C1：6 个 5 ×5 卷积核，步长 1，输出 6 张 28×28 特征图。
池化层 S2：2×2 最大池化，步长 2，输出 6 张 14×14 特征图。
卷积层 C3：16 个 5 ×5 卷积核，特殊连接模式（非全连接），输出 16 张 10×10 特征图。
池化层 S4：2×2 最大池化，步长 2，输出 16 张 5 ×5 特征图。
全连接层 C5：120 个神经元，与 S4 层全连接。
全连接层 F6：84 个神经元。
输出层：10 个神经元（对应 0 - 9 数字类别），使用 Softmax 激活。

import torch
import torch.nn as nn

class LeNet5(nn.Module):
    def __init__(self):
        super(LeNet5, self).__init__()
        self.conv1 = nn.Conv2d(1, 6, 5, padding=2)  # C1 层
        self.pool1 = nn.MaxPool2d(2, 2)            # S2 层
        self.conv2 = nn.Conv2d(6, 16, 5)           # C3 层
        self.pool2 = nn.MaxPool2d(2, 2)            # S4 层
        self.fc1 = nn.Linear(16*5*5, 120)          # C5 层
        self.fc2 = nn.Linear(120, 84)              # F6 层
        self.fc3 = nn.Linear(84, 10)               # 输出层

    def forward(self, x):
        x = torch.sigmoid(self.conv1(x))
        x = self.pool1(x)
        x = torch.sigmoid(self.conv2(x))
        x = self.pool2(x)
        x = x.view(-1, 16*5*5)  # 展平
        x = torch.sigmoid(self.fc1(x))
        x = torch.sigmoid(self.fc2(x))
        x = self.fc3(x)
        return x