残差网络(ResNet)深度解析：如何通过跳跃连接解决梯度消失问题

1次阅读

共计 2261 个字符，预计需要花费 6 分钟才能阅读完成。

在深度神经网络训练过程中，梯度消失问题就像一道无形的屏障。当网络层数增加时，反向传播的梯度会随着链式法则连乘而指数级衰减。这导致浅层网络的权重几乎得不到有效更新，使得深层网络的训练效果反而不如浅层网络。这种现象在传统 CNN 架构中尤为明显，严重限制了网络深度的拓展。

与传统 CNN 的直筒式结构不同，ResNet 引入了革命性的跳跃连接（Skip Connection）设计。这种结构允许原始输入 x 绕过若干卷积层，直接与卷积后的特征 F(x)相加：

数学表达式简洁有力：
$$ H(x) = F(x) + x $$

其中 F(x)称作残差函数，学习的是目标输出与输入之间的差值。这种设计让网络只需学习微小的残差调整，大大降低了学习难度。

传统网络的输出 H(x)需要直接拟合目标映射，而 ResNet 改为拟合残差：
$$ F(x) = H(x) – x $$

当理想映射接近恒等映射时（这在深层网络中是常见情况），让网络学习使 F(x)趋近于 0 比直接学习 H(x)= x 要容易得多。实验证明，这种残差学习方式能使深层网络更容易优化。

反向传播时，梯度可以通过两条路径回流：
1. 常规的卷积层路径
2. 跳跃连接的直连路径

根据链式法则，总梯度为两条路径梯度之和：
$$ \frac{\partial loss}{\partial x} = \frac{\partial loss}{\partial H(x)} \cdot (1 + \frac{\partial F(x)}{\partial x}) $$

即使深层 F(x)的梯度很小，1 的存在也能保证梯度不会完全消失。这相当于建立了梯度传播的高速公路。

模型	层数	残差块类型	参数量
ResNet-18	18	BasicBlock	11M
ResNet-34	34	BasicBlock	21M
ResNet-50	50	Bottleneck	25M
ResNet-101	101	Bottleneck	44M

BasicBlock 由两个 3 ×3 卷积组成，适合浅层网络；Bottleneck 采用 1 ×1-3×3-1×1 结构减少计算量，适合深层网络。

import torch
import torch.nn as nn

class BasicBlock(nn.Module):
    """基础残差块，适用于 ResNet-18/34"""
    def __init__(self, in_channels, out_channels, stride=1):
        super().__init__()
        # 主路径
        self.conv1 = nn.Conv2d(in_channels, out_channels, 
                              kernel_size=3, stride=stride, padding=1, bias=False)
        self.bn1 = nn.BatchNorm2d(out_channels)
        self.relu = nn.ReLU(inplace=True)
        self.conv2 = nn.Conv2d(out_channels, out_channels, 
                              kernel_size=3, stride=1, padding=1, bias=False)
        self.bn2 = nn.BatchNorm2d(out_channels)

        # 捷径路径（当维度或步长变化时）self.shortcut = nn.Sequential()
        if stride != 1 or in_channels != out_channels:
            self.shortcut = nn.Sequential(
                nn.Conv2d(in_channels, out_channels, 
                         kernel_size=1, stride=stride, bias=False),
                nn.BatchNorm2d(out_channels)
            )

    def forward(self, x):
        residual = self.shortcut(x)
        x = self.conv1(x)
        x = self.bn1(x)
        x = self.relu(x)
        x = self.conv2(x)
        x = self.bn2(x)
        x += residual  # 关键残差连接
        x = self.relu(x)
        return x

关键实现细节：
– BatchNorm 在 ReLU 之前使用
– 残差相加后才进行最后一次 ReLU 激活
– 当特征图尺寸减半时（stride=2），通过 1 ×1 卷积调整 shortcut 路径的维度