从LeNet到现代卷积网络：1989年LeCun的CNN架构演进与实战优化

1次阅读

没有评论

共计 2290 个字符，预计需要花费 6 分钟才能阅读完成。

1989 年 Yann LeCun 等人提出的 LeNet 是首个成功应用于手写数字识别的卷积神经网络（CNN），其核心创新在于：

局部感受野 ：通过卷积核捕捉局部空间特征，突破了全连接网络的参数爆炸限制
权值共享 ：同一卷积核在图像不同位置复用，大幅减少参数量
下采样 ：使用池化层逐步降低空间分辨率，增强特征平移不变性

LeNet-5（1998 年最终版本）在 MNIST 数据集上达到 99.2% 准确率，确立了 CNN 的基础架构范式。其分层特征提取思想直接启发了后来的 AlexNet、VGG 等里程碑模型。

LeNet- 5 由 7 层组成（不计输入层），典型结构如下：

输入层 ：32×32 灰度图像（MNIST 实际 28×28 需填充）
C1 卷积层 ：6 个 5×5 卷积核，步长 1，输出 6@28×28 特征图
S2 池化层 ：2×2 平均池化，步长 2，输出 6@14×14
C3 卷积层 ：16 个 5×5 卷积核，特殊连接模式减少参数量
S4 池化层 ：同上，输出 16@5×5
C5 全连接层 ：120 个神经元，展开 400→120 维特征
输出层 ：84→10 维 softmax 分类

关键设计细节：

使用 tanh 激活函数而非现代 ReLU
池化层采用可训练参数的下采样函数
C3 层采用非全连接模式（16 个卷积核仅连接部分输入通道）

指标	LeNet-5	ResNet-18	EfficientNet-B0
参数量	60k	11M	5.3M
FLOPs	0.3M	1.8G	0.39G
ImageNet Top-1	–	69.8%	77.1%

虽然参数量相差百倍，但 LeNet 的核心创新至今仍是 CNN 的基石：

局部连接替代全连接（现代架构保持）
空间金字塔结构（现代架构加深至数百层）
多尺度特征融合（发展为 Inception 模块等）

import torch
import torch.nn as nn
import torch.optim as optim
from torchvision import transforms, datasets

class LeNet5(nn.Module):
    def __init__(self):
        super().__init__()
        self.conv1 = nn.Conv2d(1, 6, 5, padding=2)
        self.avgpool1 = nn.AvgPool2d(2)
        self.conv2 = nn.Conv2d(6, 16, 5)
        self.avgpool2 = nn.AvgPool2d(2)
        self.fc1 = nn.Linear(16*5*5, 120)
        self.fc2 = nn.Linear(120, 84)
        self.fc3 = nn.Linear(84, 10)
        self.tanh = nn.Tanh()

    def forward(self, x):
        x = self.tanh(self.conv1(x))
        x = self.avgpool1(x)
        x = self.tanh(self.conv2(x))
        x = self.avgpool2(x)
        x = torch.flatten(x, 1)
        x = self.tanh(self.fc1(x))
        x = self.tanh(self.fc2(x))
        return self.fc3(x)

# 数据预处理
transform = transforms.Compose([transforms.Resize(32),
    transforms.ToTensor(),
    transforms.Normalize((0.1307,), (0.3081,))
])

train_set = datasets.MNIST('./data', train=True, download=True, transform=transform)
train_loader = torch.utils.data.DataLoader(train_set, batch_size=64, shuffle=True)

# 训练循环
model = LeNet5()
criterion = nn.CrossEntropyLoss()
optimizer = optim.SGD(model.parameters(), lr=0.01, momentum=0.9)

for epoch in range(10):
    for inputs, labels in train_loader:
        optimizer.zero_grad()
        outputs = model(inputs)
        loss = criterion(outputs, labels)
        loss.backward()
        optimizer.step()