CNN基础网络结构图解：从LeNet到ResNet的演进与核心实现

1次阅读

没有评论

共计 2060 个字符，预计需要花费 6 分钟才能阅读完成。

卷积神经网络（CNN）是计算机视觉领域的基石，它的核心价值主要体现在两个方面：

局部感知与特征提取：通过卷积核的滑动窗口机制，CNN 能够自动学习图像的局部特征（如边缘、纹理等），并逐层组合成高级语义特征。
平移不变性：池化操作和共享权重设计使得 CNN 对目标的位置变化具有鲁棒性，大幅提升了模型的泛化能力。

数学上，卷积操作可表示为：
$$(f * g)(x, y) = \sum_{i=-k}^{k} \sum_{j=-k}^{k} f(i,j) \cdot g(x-i, y-j)$$
其中 $k$ 为卷积核半径。

结构示意：输入层 → 卷积层(C1) → 池化层(S2) → 卷积层(C3) → 池化层(S4) → 全连接层
突破点：首次将反向传播应用于卷积结构，成功实现手写数字识别

核心改进：
使用 ReLU 激活函数解决梯度消失
引入 Dropout 防止过拟合
多 GPU 并行训练
结构特点：5 卷积层 + 3 全连接层，参数量约 6000 万

设计哲学：
全部使用 3×3 小卷积核堆叠（感受野等效于大卷积核但参数更少）
典型结构 VGG16 包含 13 个卷积层和 3 个全连接层

革命性创新：残差连接（Residual Block）

# PyTorch 实现示例
class ResidualBlock(nn.Module):
    def __init__(self, in_channels):
        super().__init__()
        self.conv1 = nn.Conv2d(in_channels, in_channels, 3, padding=1)
        self.conv2 = nn.Conv2d(in_channels, in_channels, 3, padding=1)

    def forward(self, x):
        identity = x
        out = F.relu(self.conv1(x))
        out = self.conv2(out)
        out += identity  # 残差连接
        return F.relu(out)

import torch.nn as nn

# 带 BatchNorm 和 ReLU 的标准卷积块
conv_block = nn.Sequential(nn.Conv2d(in_channels=3, out_channels=64, kernel_size=3, stride=1, padding=1),
    nn.BatchNorm2d(64),  # 加速收敛并稳定训练
    nn.ReLU(inplace=True)  # inplace 节省内存
)

最大池化：保留最显著特征，增强平移不变性
平均池化：平滑特征响应，常用于网络末端

现代 CNN 常用全局平均池化 (GAP) 替代全连接层：

nn.AdaptiveAvgPool2d(1)  # 将任意尺寸特征图池化为 1×1

Warmup：前 5 个 epoch 线性增加学习率

余弦退火：

scheduler = torch.optim.lr_scheduler.CosineAnnealingLR(optimizer, T_max=100)

训练时需设置 model.train() 以更新 running_mean/var
推理时切换为 model.eval() 模式

transform = transforms.Compose([transforms.RandomHorizontalFlip(),  # 水平翻转
    transforms.ColorJitter(0.2, 0.2, 0.2),  # 颜色扰动
    transforms.RandomAffine(15, scale=(0.9, 1.1))  # 仿射变换
])

将标准卷积分解为：
1. 逐通道的空间卷积（Depthwise Conv）
2. 逐点的 1×1 卷积（Pointwise Conv）

PyTorch 实现：

nn.Sequential(nn.Conv2d(in_c, in_c, 3, groups=in_c),  # Depthwise
    nn.Conv2d(in_c, out_c, 1)  # Pointwise
)

通道剪枝（Channel Pruning）
知识蒸馏（Knowledge Distillation）

使用残差连接（ResNet）
合理的权重初始化（如 He 初始化）

减小 batch_size

使用梯度累积：

for i, data in enumerate(dataloader):
    loss.backward()
    if (i+1) % 4 == 0:  # 每 4 个 batch 更新一次
        optimizer.step()
        optimizer.zero_grad()