深度学习优化器实战：AdamW参数详解与调优指南

1次阅读

共计 1429 个字符，预计需要花费 4 分钟才能阅读完成。

在 Transformer 架构主导的时代，AdamW 已成为训练深度神经网络的默认优化器。相比原始 Adam，其最关键的改进在于正确处理了权重衰减（weight decay）与 L2 正则化的关系。原始 Adam 将 weight decay 与梯度更新耦合，导致实际衰减量受自适应学习率影响；而 AdamW 通过解耦这两者，使权重衰减真正作用于参数本身，大幅提升了超参数稳定性。

数学上，AdamW 的梯度更新公式为：

$$\theta_{t} = \theta_{t-1} – \eta\cdot\frac{\hat{m}t}{\sqrt{\hat{v}_t} + \epsilon} – \eta\lambda\theta$$

其中 $\epsilon$（默认 1e-8）的作用是防止除零错误，但对稀疏梯度场景尤为重要：

当 $v_t$ 极小时，$\epsilon$ 会主导分母，抑制参数更新幅度
文本等稀疏数据建议调大到 1e-6，图像数据保持默认即可

通过梯度更新路径可视化对比可见：

L2 正则化会改变损失函数梯度方向（红色箭头）
Weight decay 始终保持轴向衰减（蓝色箭头）

import torch
from torch.optim import AdamW

# 带 warmup 的训练循环
def train(model, train_loader, epochs=100):
    optimizer = AdamW(model.parameters(), 
                     lr=5e-5,      # 基础学习率
                     betas=(0.9, 0.999),  # 动量参数
                     weight_decay=0.01,   # 推荐 0.01-0.1
                     eps=1e-8)

    scheduler = torch.optim.lr_scheduler.LambdaLR(
        optimizer,
        lambda step: min(step/1000, 1)  # 1000 步 warmup
    )

    for epoch in range(epochs):
        for batch in train_loader:
            optimizer.zero_grad()
            loss = model(batch)
            loss.backward()
            torch.nn.utils.clip_grad_norm_(model.parameters(), 1.0)  # 梯度裁剪
            optimizer.step()
            scheduler.step()

当 batch size 扩大 k 倍时：