深入解析2D卷积的残差网络(ResNet Style)：从原理到高效实现

1次阅读

没有评论

共计 2421 个字符，预计需要花费 7 分钟才能阅读完成。

当传统 CNN 网络深度增加到数十层时，我们会遇到明显的梯度消失问题。具体表现为：

反向传播时梯度呈指数级衰减
深层权重几乎不更新（梯度幅值小于 1e-6）
验证集准确率不升反降（过拟合前就出现退化）

通过对比 34 层普通 CNN 与 ResNet 的训练曲线可以看到：

普通 CNN 在 20epoch 后验证准确率停滞在 72%
ResNet 同期的验证准确率持续上升至 78%
ResNet 的训练损失下降速度稳定快 2 - 3 倍

标准残差块包含两条路径：

残差路径 ：两个 3 ×3 卷积堆叠（含 BN+ReLU）
恒等映射 ：当输入输出维度匹配时直接相加
下采样路径 ：维度不匹配时采用 1 ×1 卷积调整

数学表达为：
$$ y = F(x, {W_i}) + x $$

import torch
import torch.nn as nn
from torch import Tensor

class ResidualBlock(nn.Module):
    def __init__(self, in_channels: int, out_channels: int, stride: int = 1):
        super().__init__()
        # 主路径
        self.conv1 = nn.Conv2d(in_channels, out_channels, kernel_size=3, 
                              stride=stride, padding=1, bias=False)
        self.bn1 = nn.BatchNorm2d(out_channels)
        self.conv2 = nn.Conv2d(out_channels, out_channels, kernel_size=3,
                              stride=1, padding=1, bias=False)
        self.bn2 = nn.BatchNorm2d(out_channels)
        self.relu = nn.ReLU(inplace=True)

        # 下采样路径
        self.downsample = None
        if stride != 1 or in_channels != out_channels:
            self.downsample = nn.Sequential(
                nn.Conv2d(in_channels, out_channels, kernel_size=1,
                         stride=stride, bias=False),
                nn.BatchNorm2d(out_channels)
            )

    def forward(self, x: Tensor) -> Tensor:
        identity = x

        out = self.conv1(x)  # [N, C, H, W] -> [N, C, H/s, W/s]
        out = self.bn1(out)
        out = self.relu(out)

        out = self.conv2(out)  # 保持空间尺寸
        out = self.bn2(out)

        if self.downsample is not None:
            identity = self.downsample(x)

        out += identity
        out = self.relu(out)
        return out

关键实现细节：

所有卷积层禁用 bias（因为紧接着 BN 层）
使用 inplace ReLU 节省内存
下采样卷积采用 1 ×1 核保持高效性

 标准块：[3x3, 64] -> [3x3, 64]
Bottleneck: [1x1, 64] -> [3x3, 64] -> [1x1, 256]

参数量减少 40%
计算量降低 35%
更适合 50 层以上网络

卷积权重：He 初始化（Kaiming normal）
BN 层：gamma=1，beta=0
最后一层 BN：gamma=0（初始阶段更依赖短路路径）

def count_flops(module: nn.Module, input_size: tuple):
    inputs = torch.randn(*input_size)
    flops, _ = thop.profile(module, inputs=(inputs,))
    print(f"FLOPs: {flops/1e9:.2f}G")

典型 ResNet-34 的每块 FLOPs：

标准块：0.18G
Bottleneck：0.11G

每个残差块后添加 BN 层
初始学习率不超过 0.1
使用梯度裁剪（torch.nn.utils.clip_grad_norm_）

当特征图尺寸减半时：

主路径第一个卷积 stride=2
下采样路径同步 stride=2
通道数通常加倍

scaler = torch.cuda.amp.GradScaler()

with torch.cuda.amp.autocast():
    output = model(input)
    loss = criterion(output, target)

scaler.scale(loss).backward()
scaler.step(optimizer)
scaler.update()

注意事项：