残差网络（ResNet）深度解析：如何通过跳跃连接解决梯度消失问题

1次阅读

共计 2079 个字符，预计需要花费 6 分钟才能阅读完成。

在深度神经网络训练中，梯度消失问题一直是开发者面临的重大挑战。我们可以从数学角度理解这个问题。假设我们使用 sigmoid 激活函数，其导数为：

$$\sigma'(x) = \sigma(x)(1 – \sigma(x))$$

在反向传播过程中，梯度需要经过多层连乘。因为 sigmoid 导数的最大值仅为 0.25，多层连乘会导致梯度指数级衰减：

$$\frac{\partial L}{\partial W_1} = \frac{\partial L}{\partial f_n} \times \prod_{i=2}^n \sigma'(W_i x_i + b_i) \times W_i$$

在实践中可以观察到，在 MNIST 或 CIFAR-10 数据集上，当普通 CNN 的层数增加到 20 层以上时，准确率会明显下降。例如，在 CIFAR-10 上：

10 层 CNN 测试准确率：72%
20 层 CNN 测试准确率：68%
30 层 CNN 测试准确率：63%

ResNet 通过引入跳跃连接 (Skip Connection) 从根本上改变了梯度传播的方式。与 VGG 和 GoogLeNet 相比：

VGG 采用简单的堆叠结构，梯度必须通过所有层回传
GoogLeNet 使用 Inception 模块增加宽度，但梯度路径仍然较长
ResNet 的跳跃连接创建了梯度高速公路，允许部分梯度直接回传

根据 ResNet 原始论文 (arXiv:1512.03385) 的实验数据，在 ImageNet 上：

34 层普通网络：top- 1 错误率 28.5%
34 层 ResNet：top- 1 错误率 24.0%

在 PyTorch 中实现基本的残差块：

import torch
import torch.nn as nn

class ResidualBlock(nn.Module):
    def __init__(self, in_channels, out_channels, stride=1):
        super().__init__()
        self.conv1 = nn.Conv2d(in_channels, out_channels, kernel_size=3, stride=stride, padding=1, bias=False)
        self.bn1 = nn.BatchNorm2d(out_channels)
        self.relu = nn.ReLU(inplace=True)
        self.conv2 = nn.Conv2d(out_channels, out_channels, kernel_size=3, stride=1, padding=1, bias=False)
        self.bn2 = nn.BatchNorm2d(out_channels)

        # 跳跃连接
        self.shortcut = nn.Sequential()
        if stride != 1 or in_channels != out_channels:
            self.shortcut = nn.Sequential(nn.Conv2d(in_channels, out_channels, kernel_size=1, stride=stride, bias=False),
                nn.BatchNorm2d(out_channels)
            )

    def forward(self, x):
        # 主路径: [batch, in_c, H, W] -> [batch, out_c, H/s, W/s]
        residual = x
        out = self.conv1(x)
        out = self.bn1(out)
        out = self.relu(out)
        out = self.conv2(out)
        out = self.bn2(out)

        # 跳跃连接: [batch, in_c, H, W] -> [batch, out_c, H/s, W/s]
        shortcut = self.shortcut(residual)

        # 相加操作会自动广播
        out += shortcut
        out = self.relu(out)
        return out