深度学习调参实战：如何优化Adam优化器参数以提升模型收敛速度

1次阅读

没有评论

共计 1595 个字符，预计需要花费 4 分钟才能阅读完成。

Adam 优化器因其自适应学习率特性成为深度学习领域的默认选择，但默认参数 (lr=0.001, beta1=0.9, beta2=0.999) 在某些场景下会暴露明显缺陷：

当训练数据存在显著尺度差异时，固定学习率会导致梯度更新幅度不稳定
在 Transformer 等深层网络中，默认的 beta2=0.999 会使二阶矩估计更新过于缓慢
图像分类任务中常见因 beta1 设置不当导致的梯度震荡现象

我们通过实验发现，不当参数配置会使 ResNet-50 在 CIFAR-10 上的收敛轮数增加 2 - 3 倍，BERT 微调任务可能出现验证集准确率波动达 5% 的情况。

Adam 本质是结合了动量梯度下降和 RMSProp 的优点，其更新公式为：

$$
\theta_t = \theta_{t-1} – \frac{\eta}{\sqrt{\hat{v}_t} + \epsilon} \hat{m}_t
$$

其中关键参数作用如下：

学习率(η)：
直接影响参数更新幅度
过大导致震荡，过小收敛缓慢
推荐初始范围：[1e-5, 1e-3]
beta1：
控制一阶矩估计的指数衰减率
值越大动量效应越强(常用 0.9)
NLP 任务可尝试 0.85-0.95
beta2：
控制二阶矩估计的指数衰减率
推荐 0.98-0.999
视觉任务建议取较高值
epsilon：
数值稳定项
典型值 1e-8
混合精度训练需增大到 1e-6

# 带 warmup 的 Adam 实现
def get_optimizer(model, config):
    param_groups = [
        {'params': [p for n,p in model.named_parameters() 
                      if 'bias' not in n],
            'lr': config.lr,
            'weight_decay': config.wd
        },
        {'params': [p for n,p in model.named_parameters() 
                      if 'bias' in n],
            'lr': config.lr * 2,  # 偏差项通常需要更大学习率
            'weight_decay': 0
        }
    ]

    optimizer = torch.optim.Adam(
        param_groups,
        betas=(config.beta1, config.beta2),
        eps=config.eps
    )

    # 学习率 warmup
    scheduler = torch.optim.lr_scheduler.LambdaLR(
        optimizer,
        lr_lambda=lambda step: min((step + 1) / config.warmup_steps,  # 线性增长阶段
            0.5 * (1 + math.cos(step / config.total_steps * math.pi))  # 余弦衰减
        )
    )
    return optimizer, scheduler