Adam梯度下降优化算法：原理剖析与工程实践指南

1次阅读

没有评论

共计 2133 个字符，预计需要花费 6 分钟才能阅读完成。

在深度学习训练中，传统梯度下降（SGD）面临两个主要问题：

稀疏梯度场景：当特征出现频率差异大时（如 NLP 中的稀有词），固定学习率会导致高频特征更新过度而低频特征更新不足
局部最优陷阱：在损失函数曲面不平整时，SGD 容易卡在鞍点或局部最优，表现为 loss 长期停滞

Momentum 和自适应学习率分别提供了解决方案：

Momentum 通过引入历史梯度移动平均（公式：$v_t = \beta_1 v_{t-1} + (1-\beta_1)g_t$）加速平坦方向的收敛
自适应学习率（如 RMSprop）通过对梯度平方的指数平均（公式：$s_t = \beta_2 s_{t-1} + (1-\beta_2)g_t^2$）实现参数级的学习率调整

Adam 的核心在于 一阶矩估计 （梯度均值）和 二阶矩估计（梯度方差）的联合使用：

m_t = \beta_1 m_{t-1} + (1-\beta_1)g_t \quad (梯度一阶矩)
s_t = \beta_2 s_{t-1} + (1-\beta_2)g_t^2 \quad (梯度二阶矩)

偏差修正 解决初始阶段估计偏向 0 的问题：

\hat{m}_t = \frac{m_t}{1-\beta_1^t}, \quad \hat{s}_t = \frac{s_t}{1-\beta_2^t}

更新公式体现自适应特性：

\theta_t = \theta_{t-1} - \eta \cdot \frac{\hat{m}_t}{\sqrt{\hat{s}_t} + \epsilon}

相比改进版本：

Nadam：引入 Nesterov 加速，在计算梯度前先应用动量
AMSGrad：修正二阶矩估计的单调递减问题，保证 $s_t$ 不减

基础实现模板（含 warmup）：

class AdamWarmup(torch.optim.Optimizer):
    def __init__(self, params, lr=1e-3, betas=(0.9, 0.999), eps=1e-8, warmup_steps=4000):
        defaults = dict(lr=lr, betas=betas, eps=eps, warmup_steps=warmup_steps)
        super().__init__(params, defaults)

    def step(self):
        for group in self.param_groups:
            for p in group['params']:
                if p.grad is None: continue
                grad = p.grad.data
                state = self.state[p]

                # 初始化状态
                if len(state) == 0:
                    state['step'] = 0
                    state['m'] = torch.zeros_like(p.data)
                    state['v'] = torch.zeros_like(p.data)

                m, v = state['m'], state['v']
                beta1, beta2 = group['betas']
                state['step'] += 1

                # 更新一阶二阶矩
                m.mul_(beta1).add_(1-beta1, grad)
                v.mul_(beta2).addcmul_(1-beta2, grad, grad)

                # 偏差修正
                m_hat = m / (1 - beta1**state['step'])
                v_hat = v / (1 - beta2**state['step'])

                # 学习率 warmup
                lr = group['lr'] * min(state['step']**-0.5, 
                                     state['step']*group['warmup_steps']**-1.5)

                # 参数更新
                p.data.addcdiv_(-lr, m_hat, v_hat.sqrt().add(group['eps']))