BP神经网络优化实战：自适应学习率与动量因子的协同调参策略

1次阅读

没有评论

共计 1994 个字符，预计需要花费 5 分钟才能阅读完成。

在传统 BP 神经网络训练中，固定学习率就像让汽车用恒定油门爬坡：

梯度震荡：陡坡路段（大梯度）需要刹车（小学习率），但固定油门会导致车辆反复冲过头。数学表现为损失函数在峡谷两侧来回震荡，收敛缓慢。
鞍点滞留：平缓区域（小梯度）需要加速（大学习率），但固定油门会让模型陷入鞍点无法逃脱。实验显示，固定学习率下模型在鞍点平均多消耗 40% 迭代次数。
后期过冲：临近最优解时（精细调参阶段），过大的固定步长会导致精度不升反降。MNIST 实验中，固定学习率使最后 5 个 epoch 的测试准确率波动达±0.8%。

$$\eta_t = \frac{\eta}{\sqrt{G_t + \epsilon}}$$

其中 $G_t = \sum_{\tau=1}^t g_\tau^2$ 是历史梯度平方和。物理意义好比 ” 坡度计 ”：

频繁出现大梯度的参数（陡坡）会被分配更小的学习率（刹车）
稀疏参数（缓坡）则保持较大学习率（加油）

缺陷：随着 $G_t$ 单调递增，学习率会过早衰减到接近零。

$$G_t = \gamma G_{t-1} + (1-\gamma)g_t^2$$

通过衰减因子 $\gamma$（通常 0.9）实现指数加权平均，解决了 AdaGrad 的 ” 早衰 ” 问题。就像只关注最近几秒的坡度变化，避免被远古梯度绑架。

class HybridOptimizer(torch.optim.Optimizer):
    def __init__(self, params, lr=1e-3, momentum=0.9, gamma=0.9):
        defaults = dict(lr=lr, momentum=momentum, gamma=gamma)
        super().__init__(params, defaults)
        # 初始化动量缓冲器（时间复杂度 O(n)）for group in self.param_groups:
            for p in group['params']:
                self.state[p]['momentum_buffer'] = torch.zeros_like(p.data)
                self.state[p]['grad_sq'] = torch.zeros_like(p.data)

    @torch.no_grad()
    def step(self):
        for group in self.param_groups:
            for p in group['params']:
                if p.grad is None: continue
                grad = p.grad
                # 梯度裁剪（防御性编程）grad = torch.clamp(grad, -10, 10)  # 控制梯度爆炸
                # 更新二阶动量估计（O(1)操作）state = self.state[p]
                state['grad_sq'] = group['gamma'] * state['grad_sq'] + \
                                  (1-group['gamma']) * grad**2
                # 计算自适应学习率
                adaptive_lr = group['lr'] / (torch.sqrt(state['grad_sq']) + 1e-8)
                # Nesterov 动量更新（时间复杂度 O(n)）buf = state['momentum_buffer']
                buf.mul_(group['momentum']).add_(grad, alpha=adaptive_lr)
                p.add_(buf, alpha=-1)

超参数	推荐范围	搜索策略	影响分析
初始学习率	1e-3 ~ 1e-2	对数均匀采样	过大导致震荡，过小收敛慢
动量系数	0.9 ~ 0.99	线性递增采样	高动量适合平滑损失曲面
衰减因子 γ	0.8 ~ 0.95	固定 0.9 后再微调	控制历史梯度记忆长度