BP梯度下降算法详解：从数学原理到PyTorch实战

1次阅读

共计 1637 个字符，预计需要花费 5 分钟才能阅读完成。

反向传播 (Backpropagation) 是神经网络训练的基石，90% 的深度学习模型依赖其计算梯度
梯度下降 (Gradient Descent) 通过局部线性近似解决非线性优化问题
从 LeNet 到 Transformer，BP 算法支撑了所有深度神经网络的参数更新

对于多层网络 $f(x)=W_3\sigma(W_2\sigma(W_1x))$，第 $l$ 层的梯度计算为：
$$\frac{\partial L}{\partial W_l} = \frac{\partial L}{\partial f} \cdot \prod_{k=l+1}^L \frac{\partial f_k}{\partial f_{k-1}} \cdot \frac{\partial f_l}{\partial W_l}$$

当学习率 $\eta$ 满足 Lipschitz 条件 $\eta < 1/L$ 时（$L$ 为梯度 Lipschitz 常数），可以证明：
$$\lim_{k\to\infty} \nabla f(x_k) = 0$$

引入动量 $\beta$ 后，参数更新变为：
$$v_t = \beta v_{t-1} + (1-\beta)\nabla_\theta J(\theta)$$
动量项通过指数加权平均平滑梯度方向，有效抑制峡谷震荡

测试函数：$f(x)=x^TAx + b^Tx$ (条件数 $\kappa=10^3$)
– SGD 学习率 0.1 需 300 步收敛
– Adam(β1=0.9, β2=0.999)仅需 50 步

Batch Size	1080Ti 显存占用
64	2.1GB
128	3.8GB
256	OOM

# 带 L2 正则化的 BP 实现
model = nn.Sequential(nn.Linear(784, 256),
    nn.ReLU(),
    nn.Linear(256, 10)
)

optimizer = torch.optim.SGD(model.parameters(), 
    lr=0.01, 
    weight_decay=1e-4  # L2 正则化
)

# 梯度检查
for inputs, targets in dataloader:
    outputs = model(inputs)
    loss = F.cross_entropy(outputs, targets)
    loss.backward()

    # 手动梯度裁剪
    torch.nn.utils.clip_grad_norm_(model.parameters(), 5.0)

    optimizer.step()
    optimizer.zero_grad()

CNN 推荐阈值 1.0-5.0
Transformer 建议 0.1-1.0
监控梯度范数：grad_norm = torch.norm(torch.stack([torch.norm(p.grad) for p in model.parameters()]))

# 线性 warmup
if step < warmup_steps:
    lr = base_lr * (step + 1) / warmup_steps
    for param_group in optimizer.param_groups:
        param_group['lr'] = lr