BP神经网络动量因子原理剖析与调优实战

1次阅读

没有评论

共计 1690 个字符，预计需要花费 5 分钟才能阅读完成。

在传统 BP 算法中，参数更新公式为：

$$\theta_{t+1} = \theta_t – \eta \cdot \nabla J(\theta_t)$$

这种更新方式存在两个典型问题：

在峡谷地形（某一维度梯度远大于其他维度）会产生之字形震荡
容易陷入局部最优点的 ” 盆地 ” 区域难以跳出

引入动量因子 (momentum) 后的更新公式：

$$v_t = \gamma v_{t-1} + \eta \cdot \nabla J(\theta_t)$$
$$\theta_{t+1} = \theta_t – v_t$$

其中 $\gamma$ 即动量因子，其物理意义类比物体运动时的惯性：

当前更新方向会保留部分历史梯度信息
在梯度方向不变的维度加速前进
在梯度方向变化的维度抑制震荡

在峡谷地形能快速沿长轴方向下降
但容易在最优解附近 ” overshooting”

$$v_t = \gamma v_{t-1} + \eta \cdot \nabla J(\theta_t – \gamma v_{t-1})$$

先根据动量项预测下一步位置
在预测位置计算梯度
对凸函数有更好的理论收敛保证

class DynamicMomentumOptimizer(torch.optim.Optimizer):
    def __init__(self, params, lr=0.01, base_momentum=0.9, max_momentum=0.99):
        defaults = dict(lr=lr, base_momentum=base_momentum,
                       max_momentum=max_momentum)
        super().__init__(params, defaults)

    def step(self, closure=None):
        loss = None
        if closure is not None:
            loss = closure()

        for group in self.param_groups:
            # 动态计算当前 momentum 值
            progress = self.state['step'] / self.state['max_steps']
            momentum = group['max_momentum'] - (group['max_momentum'] - group['base_momentum']
            ) * (1 - progress)**2

            for p in group['params']:
                if p.grad is None:
                    continue

                # 梯度裁剪
                grad = torch.nn.utils.clip_grad_norm_(p, 1.0)

                # 更新速度项
                param_state = self.state[p]
                if 'momentum_buffer' not in param_state:
                    buf = param_state['momentum_buffer'] = torch.zeros_like(p.data)
                else:
                    buf = param_state['momentum_buffer']

                buf.mul_(momentum).add_(grad)

                # 参数更新
                p.data.add_(-group['lr'], buf)

        return loss

在 MNIST 数据集上测试不同动量因子的效果：