CNN基础网络架构解析：从LeNet到ResNet的结构演进与实现

1次阅读

共计 2151 个字符，预计需要花费 6 分钟才能阅读完成。

卷积神经网络（CNN）已成为计算机视觉领域的核心工具，其发展历程体现了深度学习技术的快速演进。从早期的手写数字识别到现代的复杂场景理解，CNN 基础网络结构经历了多次重大革新，每次突破都为视觉任务带来显著性能提升。理解这些基础网络的设计思想，对于开发者构建高效模型至关重要。

作为 CNN 的鼻祖，LeNet- 5 在 1998 年由 Yann LeCun 提出，其结构清晰地展示了卷积神经网络的基本组成：

输入层：32×32 灰度图像
交替的卷积层和池化层（当时使用平均池化）
全连接层输出分类结果

关键设计思想：
1. 局部感受野通过卷积核实现
2. 空间下采样通过池化层完成
3. 使用 tanh 激活函数（当时 ReLU 尚未普及）

2012 年 ImageNet 竞赛冠军 AlexNet 带来了多项突破：

首次成功应用 ReLU 激活函数
使用 Dropout 防止过拟合
引入重叠池化(overlapping pooling)
采用双 GPU 并行计算结构

技术实现要点：
1. 输入尺寸 224×224×3
2. 5 个卷积层 + 3 个全连接层
3. 使用 LRN（局部响应归一化）

VGG 网络通过统一的 3×3 小卷积核堆叠，证明了网络深度的重要性：

所有卷积层使用相同 3×3 滤波器
通过增加深度提升性能（16-19 层）
2×2 最大池化层

结构特点：
1. 参数量大（VGG16 约 1.38 亿）
2. 全连接层占据大部分参数
3. 成为后续网络的常用特征提取器

ResNet 通过残差学习解决了深度网络梯度消失问题：

引入恒等快捷连接(identity shortcut)
基础块包含两个 3×3 卷积层
使用批量归一化 (BN) 加速训练

创新优势：
1. 可训练极深网络（超过 100 层）
2. 训练误差随深度增加持续下降
3. 计算效率高于 VGG

网络	参数量	Top- 5 错误率	主要创新点
LeNet-5	60k	–	首个 CNN 架构
AlexNet	60M	16.4%	ReLU/Dropout/ 并行结构
VGG16	138M	7.3%	小卷积核深度堆叠
ResNet50	25.5M	5.3%	残差连接机制

import torch
import torch.nn as nn

class BasicBlock(nn.Module):
    """ResNet 基础残差块"""
    def __init__(self, in_channels, out_channels, stride=1):
        super().__init__()
        self.conv1 = nn.Conv2d(
            in_channels, out_channels, 
            kernel_size=3, stride=stride, padding=1, bias=False
        )
        self.bn1 = nn.BatchNorm2d(out_channels)
        self.conv2 = nn.Conv2d(
            out_channels, out_channels,
            kernel_size=3, stride=1, padding=1, bias=False
        )
        self.bn2 = nn.BatchNorm2d(out_channels)

        # 快捷连接处理维度变化
        self.shortcut = nn.Sequential()
        if stride != 1 or in_channels != out_channels:
            self.shortcut = nn.Sequential(
                nn.Conv2d(in_channels, out_channels,
                         kernel_size=1, stride=stride, bias=False),
                nn.BatchNorm2d(out_channels)
            )

    def forward(self, x):
        out = F.relu(self.bn1(self.conv1(x)))
        out = self.bn2(self.conv2(out))
        out += self.shortcut(x)  # 残差连接
        return F.relu(out)

关键参数说明：
1. stride=1时保持空间维度
2. 输入输出通道不同时需要 1×1 卷积调整维度
3. 所有卷积后接批量归一化