BP算法梯度下降实战：从数学原理到工程调优

1次阅读

没有评论

共计 2152 个字符，预计需要花费 6 分钟才能阅读完成。

在神经网络的训练过程中，反向传播（BP）算法结合梯度下降是最基础的优化方法。然而，随着网络层数的增加，标准梯度下降会遇到两个主要问题：梯度消失和梯度爆炸。

梯度消失：当梯度在反向传播过程中逐层减小时，深层网络的权重几乎无法更新。数学上，这可以表示为：
$$\frac{\partial L}{\partial w_{l}} \approx \prod_{k=l}^{L-1} \sigma'(z_k) \cdot \frac{\partial L}{\partial w_{L}}$$
如果激活函数的导数 $\sigma’$ 很小，连乘后梯度会趋近于零。
梯度爆炸：与梯度消失相反，如果梯度在反向传播过程中逐层放大，会导致权重更新过大，模型无法收敛。
学习率的选择：学习率 $\alpha$ 决定了每次权重更新的步长。过大的学习率可能导致震荡或发散，而过小的学习率则会让训练过程变得极其缓慢。理想的学习率需要根据具体问题和模型动态调整。

为了解决标准梯度下降的问题，研究者提出了多种优化算法。以下是几种常见优化器的对比：

Momentum：引入动量项，加速梯度下降并在相关方向上抑制震荡。更新公式为：
$$v_t = \beta v_{t-1} + (1-\beta) \nabla_\theta J(\theta)$$
$$\theta = \theta – \alpha v_t$$
RMSprop：自适应调整学习率，通过对梯度平方的指数移动平均来缩放学习率。更新公式为：
$$E[g^2]t = \beta E[g^2] + (1-\beta)g_t^2$$
$$\theta_{t+1} = \theta_t – \frac{\alpha}{\sqrt{E[g^2]_t + \epsilon}} g_t$$
Adam：结合了 Momentum 和 RMSprop 的优点，通过一阶矩（均值）和二阶矩（方差）估计来调整学习率。更新公式为：
$$m_t = \beta_1 m_{t-1} + (1-\beta_1)g_t$$
$$v_t = \beta_2 v_{t-1} + (1-\beta_2)g_t^2$$
$$\hat{m}t = \frac{m_t}{1-\beta_1^t}$$
$$\hat{v}_t = \frac{v_t}{1-\beta_2^t}$$
$$\theta_t$$} = \theta_t – \frac{\alpha}{\sqrt{\hat{v}_t} + \epsilon} \hat{m

以下是使用 PyTorch 实现带学习率预热的 Adam 优化器的代码示例：

import torch
import torch.optim as optim

class WarmupAdam(optim.Adam):
    def __init__(self, params, lr=1e-3, warmup_steps=4000, **kwargs):
        super().__init__(params, lr=0.0, **kwargs)
        self.warmup_steps = warmup_steps
        self.current_step = 0
        self.lr = lr

    def step(self, closure=None):
        # 学习率预热
        self.current_step += 1
        lr_scale = min(1.0, self.current_step / self.warmup_steps)
        for group in self.param_groups:
            group['lr'] = lr_scale * self.lr

        # 梯度裁剪
        torch.nn.utils.clip_grad_norm_(self.param_groups[0]['params'], max_norm=1.0)

        # 调用父类的 step 方法
        super().step(closure=closure)