BP梯度下降算法详解：从数学原理到PyTorch实战

1次阅读

共计 1828 个字符，预计需要花费 5 分钟才能阅读完成。

BP 梯度下降是深度学习模型训练的基石算法，它通过反向传播（Backpropagation）计算梯度，结合梯度下降（Gradient Descent）更新参数。没有 BP 梯度下降，现代深度神经网络无法从海量数据中学习复杂模式。无论是卷积神经网络（CNN）还是 Transformer，其训练过程都依赖 BP 梯度下降的变种优化器。

假设神经网络第 $l$ 层的输出为 $\mathbf{h}^l = f(\mathbf{W}^l \mathbf{h}^{l-1} + \mathbf{b}^l)$，则反向传播时梯度计算可表示为：

$$
\frac{\partial L}{\partial \mathbf{W}^l} = \frac{\partial L}{\partial \mathbf{h}^l} \odot f'(\mathbf{z}^l) \cdot (\mathbf{h}^{l-1})^T
$$

其中 $\odot$ 表示逐元素乘，这种矩阵形式非常适合 GPU 并行计算。

在凸函数假设下，当学习率 $\eta$ 满足 $\eta < 1/L$（L 为 Lipschitz 常数）时，梯度下降能保证收敛。证明过程：

$$
f(\mathbf{x}_{k+1}) \leq f(\mathbf{x}_k) – \frac{\eta}{2} |\nabla f(\mathbf{x}_k)|^2
$$

带动量（Momentum）的更新公式：

$$
\mathbf{v}t = \gamma \mathbf{v} + \eta \nabla_\theta J(\theta)
$$

$$
\theta = \theta – \mathbf{v}_t
$$

动量项 $\gamma$ 有效抑制参数更新方向的震荡，相当于给梯度增加了惯性。

在 CIFAR-10 上的实测对比：

SGD（学习率 0.1）：前 50 轮快速下降，后期在最小值附近震荡
Adam（默认参数）：全程平稳下降，最终收敛位置更优

Batch Size	GPU 显存占用	训练速度
32	2.1GB	1.2it/s
128	3.8GB	3.5it/s
512	OOM	–

# 带 L2 正则化的 BP 实现
model = nn.Sequential(nn.Linear(784, 256),
    nn.ReLU(),
    nn.Linear(256, 10)
)

optimizer = torch.optim.SGD(model.parameters(), 
    lr=0.01, 
    weight_decay=1e-5  # L2 正则化
)

# 梯度检查
for x, y in dataloader:
    optimizer.zero_grad()
    out = model(x)
    loss = F.cross_entropy(out, y)
    loss.backward()

    # 手动梯度裁剪
    torch.nn.utils.clip_grad_norm_(model.parameters(), 5.0)

    optimizer.step()

NLP 任务：通常设为 1.0-5.0
CV 任务：可放宽到 5.0-10.0
监控梯度范数：grad_norm = torch.norm(torch.stack([torch.norm(p.grad) for p in model.parameters()]))

# 线性 warmup
if step < warmup_steps:
    lr = base_lr * (step + 1) / warmup_steps
    for param_group in optimizer.param_groups:
        param_group['lr'] = lr

scaler = torch.cuda.amp.GradScaler()

with torch.cuda.amp.autocast():
    outputs = model(inputs)
    loss = criterion(outputs, targets)

scaler.scale(loss).backward()
scaler.step(optimizer)
scaler.update()