BP神经网络动量因子原理详解与调参实战：从梯度震荡到稳定收敛

1次阅读

共计 1612 个字符，预计需要花费 5 分钟才能阅读完成。

在训练 BP 神经网络时，最基础的优化方法是随机梯度下降（SGD）。但实际使用中经常会遇到两个典型问题：

梯度震荡：在峡谷状误差曲面中（即一个方向梯度大、另一个方向梯度小），参数更新会像皮球一样在两侧来回弹跳，导致收敛缓慢
局部最优陷阱：遇到平坦区域或局部极小值时，梯度值变得非常小，参数几乎停止更新

动量因子（Momentum）的引入，就像给梯度下降过程增加了 ” 惯性 ”。它通过累积历史梯度的指数加权平均，使参数更新方向更加平滑稳定。

普通 SGD 更新规则：
$$\theta_{t+1} = \theta_t – \eta \nabla J(\theta_t)$$

带动量的 SGD 更新规则：
$$
\begin{aligned}
&v_t = \beta v_{t-1} + (1-\beta)\nabla J(\theta_t) \
&\theta_{t+1} = \theta_t – \eta v_t
\end{aligned}
$$

其中：
– $\beta$ 是动量系数（通常取 0.9 左右）
– $v_t$ 是当前时刻的动量向量
– $\eta$ 是学习率

动量因子的物理意义相当于给参数更新增加了 ” 记忆 ”，当前更新方向会保留部分历史梯度的信息。这就像下坡时推一个重球：即使遇到小坑洼（局部极小值），球的惯性也能帮助它冲过去。

以下是带有动量因子的 SGD 优化器实现关键代码（基于 PyTorch 框架）：

import torch
import torch.nn as nn

class SGDWithMomentum:
    def __init__(self, params, lr=0.01, momentum=0.9):
        self.params = list(params)
        self.lr = lr
        self.momentum = momentum
        self.velocity = [torch.zeros_like(p) for p in self.params]  # 动量向量初始化

    def step(self):
        for i, (p, v) in enumerate(zip(self.params, self.velocity)):
            if p.grad is None:
                continue

            # 动量更新公式实现
            v.mul_(self.momentum).add_(p.grad, alpha=1-self.momentum)

            # 参数更新
            p.data.add_(v, alpha=-self.lr)

关键实现细节说明：