BP神经网络动量因子原理剖析与调优实战

1次阅读

没有评论

共计 1403 个字符，预计需要花费 4 分钟才能阅读完成。

标准 BP 算法的权重更新公式为：

$$\Delta w_{t} = -\eta \nabla J(w_{t})$$

这种更新方式在崎岖的损失函数曲面中容易陷入两个典型问题：

在梯度方向剧烈变化的区域会产生锯齿形路径
在平坦区域因梯度微小导致更新停滞

动量因子 (momentum) 的引入模拟了物理中的惯性效应，其更新公式变为：

$$v_t = \gamma v_{t-1} + \eta \nabla J(w_t)$$
$$\Delta w_t = -v_t$$

其中 $\gamma$ 就是我们要讨论的动量因子，它保留了历史梯度信息的方向趋势。

在梯度方向持续相同的维度加速更新
在梯度方向改变的维度减速更新
典型值 $\gamma=0.9$

改进点在于先根据累积梯度进行临时更新，再计算梯度：

$$v_t = \gamma v_{t-1} + \eta \nabla J(w_t – \gamma v_{t-1})$$

这种 ” 前瞻性 ” 计算在凸优化中可证明达到最优收敛率。

class DynamicMomentumOptimizer(torch.optim.Optimizer):
    def __init__(self, params, lr=0.01, base_momentum=0.9):
        defaults = dict(lr=lr, base_momentum=base_momentum)
        super().__init__(params, defaults)

    @torch.no_grad()
    def step(self):
        for group in self.param_groups:
            # 动态衰减系数
            momentum = group['base_momentum'] * (1 - self.state['step']/10000)

            for p in group['params']:
                if p.grad is None:
                    continue

                # 梯度裁剪
                grad = torch.clamp(p.grad, -1, 1)

                param_state = self.state[p]
                if 'momentum_buffer' not in param_state:
                    buf = param_state['momentum_buffer'] = torch.clone(grad).detach()
                else:
                    buf = param_state['momentum_buffer']
                    # 核心动量更新公式
                    buf.mul_(momentum).add_(grad, alpha=group['lr'])  # v_t = γv_{t-1} + η∇J

                p.add_(buf, alpha=-1)  # w_{t+1} = w_t - v_t

在 MNIST 数据集上对比不同动量因子的效果：