大模型训练中的梯度消失问题：从原理到ResNet残差连接的实战解析

1次阅读

共计 1989 个字符，预计需要花费 5 分钟才能阅读完成。

在深度神经网络中，梯度消失问题源于反向传播的链式法则。设第 $l$ 层神经元的误差项为 $\delta^l$，根据反向传播规则：

$$
\delta^l = (W^{l+1})^T \delta^{l+1} \odot \sigma'(z^l)
$$

其中 $\sigma'(z^l)$ 是激活函数的导数。对于 sigmoid 函数，其导数最大值为 0.25，多层连乘会导致梯度指数级衰减。即使是 ReLU 函数，当神经元输出为负时也会产生 ” 死亡神经元 ” 问题。

Batch Normalization(BN)：
通过标准化每层输入分布缓解内部协变量偏移
计算复杂度：$O(2n)$（n 为特征维度）
优势：可允许更大的学习率
残差连接 ：
通过跨层恒等映射保留原始梯度
计算复杂度：$O(n^2)$（需额外 1 ×1 卷积）
优势：可直接训练数百层的网络
LSTM 门控机制 ：
通过门控单元选择性记忆和遗忘
计算复杂度：$O(4n^2)$（三个门 + 候选状态）
适用场景：时序建模任务

import torch.nn as nn

class BasicBlock(nn.Module):
    def __init__(self, in_channels, out_channels, stride=1):
        super().__init__()
        # 主路径：两个 3x3 卷积
        self.conv1 = nn.Conv2d(in_channels, out_channels, 
                              kernel_size=3, stride=stride, padding=1)
        self.bn1 = nn.BatchNorm2d(out_channels)
        self.conv2 = nn.Conv2d(out_channels, out_channels,
                              kernel_size=3, stride=1, padding=1)
        self.bn2 = nn.BatchNorm2d(out_channels)

        # 跳跃连接：当维度变化时需要 1x1 卷积
        self.shortcut = nn.Sequential()
        if stride != 1 or in_channels != out_channels:
            self.shortcut = nn.Sequential(
                nn.Conv2d(in_channels, out_channels,
                         kernel_size=1, stride=stride),
                nn.BatchNorm2d(out_channels)
            )

    def forward(self, x):
        """
        前向传播流程：1. 主路径通过两个卷积层
        2. 与 shortcut 路径相加
        3. ReLU 激活放在相加之后（原始论文方案）"""
        out = F.relu(self.bn1(self.conv1(x)))
        out = self.bn2(self.conv2(out))
        out += self.shortcut(x)  # 关键残差连接
        out = F.relu(out)
        return out

学习率 warmup：

optimizer = torch.optim.SGD(model.parameters(), lr=0.1)
scheduler = torch.optim.lr_scheduler.LambdaLR(
    optimizer,
    lr_lambda=lambda epoch: min((epoch + 1) / 5.0, 1.0)  # 前 5epoch 线性增长
)

He 初始化 ：

def init_weights(m):
    if isinstance(m, nn.Conv2d):
        nn.init.kaiming_normal_(m.weight, mode='fan_out', nonlinearity='relu')
model.apply(init_weights)