残差网络(ResNet)原理剖析：如何通过跳跃连接解决梯度消失问题

1次阅读

共计 1882 个字符，预计需要花费 5 分钟才能阅读完成。

当神经网络层数加深时，反向传播过程中梯度会随着链式法则逐层相乘。假设每层的梯度平均值为 0.9，经过 50 层后梯度会衰减到 0.9^50≈0.005，导致底层参数几乎无法更新。这种现象在 Sigmoid 激活函数中尤为明显，因为其导数最大值只有 0.25。

传统解决方案如 ReLU 激活函数、批归一化 (BN) 可以缓解但无法根治。2015 年 ImageNet 竞赛中，ResNet 首次让 152 层网络的训练成为可能，核心创新就是跳跃连接(skip connection)。

传统 CNN 的反向传播：
```
∂L/∂x = ∂L/∂y * ∂y/∂x 
y = f(Wx + b)
```
梯度必须完整通过非线性变换 f()和权重矩阵 W
ResNet 的反向传播：
```
∂L/∂x = ∂L/∂y * (∂F/∂x + 1)
y = F(x) + x
```
多出的 +1 项形成梯度高速公路，即使∂F/∂x 趋近 0 时仍有梯度流动

假设理想映射为 H(x)，我们让网络学习残差 F(x) = H(x) – x。当 x 已经接近最优解时，F(x)只需逼近 0 比直接拟合 H(x)更容易：

F(x) = W2σ(W1x + b1) + b2
H(x) = F(x) + x

前向传播时，原始信号 x 与残差 F(x)相加；反向传播时，梯度可以自由选择通过残差路径或恒等路径，确保至少有一条有效传播通道。

import torch
import torch.nn as nn

class BasicBlock(nn.Module):
    def __init__(self, in_channels, out_channels, stride=1):
        super().__init__()
        # 第一个卷积层
        self.conv1 = nn.Conv2d(in_channels, out_channels, 
                              kernel_size=3, stride=stride, 
                              padding=1, bias=False)
        self.bn1 = nn.BatchNorm2d(out_channels)
        # 第二个卷积层
        self.conv2 = nn.Conv2d(out_channels, out_channels,
                              kernel_size=3, stride=1,
                              padding=1, bias=False)
        self.bn2 = nn.BatchNorm2d(out_channels)
        # 跳跃连接处理维度变化
        self.shortcut = nn.Sequential()
        if stride != 1 or in_channels != out_channels:
            self.shortcut = nn.Sequential(
                nn.Conv2d(in_channels, out_channels,
                         kernel_size=1, stride=stride, bias=False),
                nn.BatchNorm2d(out_channels)
            )

    def forward(self, x):
        residual = x
        out = nn.ReLU()(self.bn1(self.conv1(x)))
        out = self.bn2(self.conv2(out))
        out += self.shortcut(residual)  # 关键跳跃连接
        return nn.ReLU()(out)