bp梯度下降优化实战：解决神经网络训练中的收敛难题

1次阅读

共计 1450 个字符，预计需要花费 4 分钟才能阅读完成。

在深度学习中，bp 梯度下降是神经网络训练的核心算法。但在实际应用中，我们常常会遇到收敛速度慢、训练过程不稳定等问题。今天我就来分享一些实战经验，帮你解决这些头疼的问题。

梯度消失 / 爆炸 ：在深层网络中，反向传播时梯度会不断相乘。当权重初始化不当时，梯度可能会指数级减小（消失）或增大（爆炸）。想象一下，这就像是在多层放大镜下的阳光 – 要么微弱到无法点燃纸张，要么强烈到直接烧穿。
损失函数震荡 ：固定学习率下，模型容易在山谷间 ” 来回跳跃 ”。具体表现就是损失函数曲线不是平滑下降，而是上下波动，迟迟无法收敛。

SGD：最基础版本，就像蒙眼下山，容易走过头
Momentum：加入了 ” 惯性 ”，能平滑更新方向
Adam：我们的主角，结合了动量 + 自适应学习率

Adam 的数学原理很优雅：

$
\begin{aligned}
m_t &= \beta_1 m_{t-1} + (1-\beta_1)g_t \
v_t &= \beta_2 v_{t-1} + (1-\beta_2)g_t^2 \
\hat{m}t &= \frac{m_t}{1-\beta_1^t} \
\hat{v}_t &= \frac{v_t}{1-\beta_2^t} \
\theta_t
\end{aligned}
$} &= \theta_t – \frac{\alpha}{\sqrt{\hat{v}_t}+\epsilon}\hat{m

简单说就是：对频繁更新的参数减小步长，对不常更新的参数增大步长。

import torch
from torch.optim import Adam
from torch.nn.utils import clip_grad_norm_

# 模型定义
model = YourModel()
optimizer = Adam(model.parameters(), lr=1e-3, betas=(0.9, 0.999))

# 自定义学习率调度器
scheduler = torch.optim.lr_scheduler.ReduceLROnPlateau(
    optimizer, 
    mode='min', 
    factor=0.1, 
    patience=5
)

for epoch in range(100):
    for x, y in dataloader:
        optimizer.zero_grad()
        loss = model(x, y)
        loss.backward()

        # 梯度裁剪 (推荐阈值 1.0-5.0)
        clip_grad_norm_(model.parameters(), max_norm=2.0)

        optimizer.step()

    # 动态调整学习率
    scheduler.step(loss)

我们分别在 MNIST 和 CIFAR-10 上做了测试：