Adam梯度下降算法：深度学习优化器的原理与实战调优

1次阅读

没有评论

共计 2489 个字符，预计需要花费 7 分钟才能阅读完成。

梯度下降是深度学习模型训练的基石，其发展经历了几个关键阶段：

传统 SGD：最基本的梯度下降形式，直接沿负梯度方向更新参数，但容易陷入局部最优和震荡。
Momentum：引入动量概念，通过累积历史梯度来加速收敛并减少震荡。
AdaGrad：首次引入自适应学习率，根据参数的历史梯度调整学习率，适合稀疏数据。
RMSprop：改进 AdaGrad 的学习率衰减问题，通过指数移动平均调整学习率。
Adam：结合 Momentum 和 RMSprop 的优点，成为当前最流行的优化器之一。

Adam 的诞生解决了传统优化器在超参数敏感性和收敛稳定性上的痛点，特别是针对非平稳目标和稀疏梯度场景。

Adam 的核心在于两个关键概念：动量（一阶矩估计）和自适应学习率（二阶矩估计）。

动量计算 ：
$$m_t = \beta_1 m_{t-1} + (1-\beta_1)g_t$$
自适应学习率 ：
$$v_t = \beta_2 v_{t-1} + (1-\beta_2)g_t^2$$
偏差修正 （解决初始零偏差问题）：
$$\hat{m}_t = \frac{m_t}{1-\beta_1^t}$$
$$\hat{v}_t = \frac{v_t}{1-\beta_2^t}$$
参数更新 ：
$$\theta_t = \theta_{t-1} – \eta \frac{\hat{m}_t}{\sqrt{\hat{v}_t} + \epsilon}$$

特性	Adam	RMSprop	AdaGrad	Momentum
自适应学习率	✔	✔	✔	✖
动量项	✔	✖	✖	✔
偏差修正	✔	✖	✖	✖
稀疏数据适应	优秀	良好	优秀	一般

import torch
import math

class CustomAdam(torch.optim.Optimizer):
    def __init__(self, params, lr=1e-3, betas=(0.9, 0.999), eps=1e-8,
                 weight_decay=0, warmup_steps=4000):
        defaults = dict(lr=lr, betas=betas, eps=eps,
                        weight_decay=weight_decay, warmup_steps=warmup_steps)
        super().__init__(params, defaults)

    def step(self, closure=None):
        loss = None
        if closure is not None:
            loss = closure()

        for group in self.param_groups:
            for p in group['params']:
                if p.grad is None:
                    continue

                grad = p.grad.data
                state = self.state[p]

                # 初始化状态
                if len(state) == 0:
                    state['step'] = 0
                    state['m'] = torch.zeros_like(p.data)
                    state['v'] = torch.zeros_like(p.data)

                m, v = state['m'], state['v']
                beta1, beta2 = group['betas']
                state['step'] += 1

                # 权重衰减
                if group['weight_decay'] != 0:
                    grad.add_(p.data, alpha=group['weight_decay'])

                # 更新一阶和二阶矩估计
                m.mul_(beta1).add_(grad, alpha=1 - beta1)
                v.mul_(beta2).addcmul_(grad, grad, value=1 - beta2)

                # 偏差修正
                bias_correction1 = 1 - beta1 ** state['step']
                bias_correction2 = 1 - beta2 ** state['step']

                # 学习率预热
                warmup_factor = min(state['step'] / group['warmup_steps'], 1.0)
                current_lr = group['lr'] * warmup_factor

                # 参数更新
                denom = (v.sqrt() / math.sqrt(bias_correction2)).add_(group['eps'])
                step_size = current_lr / bias_correction1
                p.data.addcdiv_(m, denom, value=-step_size)

        return loss