共计 2516 个字符，预计需要花费 7 分钟才能阅读完成。
背景与痛点
在使用原始 Adam 优化器时，很多工程师会发现模型在训练后期出现性能下降或波动的情况。这通常源于权重衰减 (weight decay) 与自适应学习率机制之间的冲突。传统 Adam 将 L2 正则化项直接加入梯度计算，导致权重衰减量会随着参数更新幅度而变化——这与我们期望的稳定正则化效果背道而驰。
具体表现为：
- 当某些参数梯度较大时，对应的权重衰减会被自适应学习率缩小
- 高频更新参数实际受到的正则化强度反而低于低频更新参数
- 最终导致模型参数分布失衡，影响泛化性能
技术对比：Adam vs AdamW vs SGD
根据 ICLR 2019 论文《Decoupled Weight Decay Regularization》的实验结果：
- 图像分类任务收敛曲线
- Adam：初始收敛快，但验证集准确率波动明显（±1.5%）
- AdamW：保持快速收敛的同时，最终准确率比 Adam 提高 0.8-1.2%
-
SGD with Momentum：收敛最稳定，但需要 3 - 5 倍训练时间达到相同精度
-
关键区别
- AdamW 将权重衰减从梯度计算中解耦，单独作用于参数更新
- 保持自适应学习率优点的同时，实现真正的 L2 正则化效果
AdamW 核心实现
数学原理
AdamW 的更新规则可分解为两步：
\theta_t = \theta_{t-1} - \eta\cdot\frac{m_t}{\sqrt{v_t}+\epsilon} \quad (梯度更新)\theta_t = \theta_t - \eta\lambda\theta_{t-1} \quad (权重衰减)其中 $\lambda$ 是解耦后的衰减系数，不再受 $v_t$ 影响。
PyTorch 完整实现
import torch
from torch.optim import Optimizer
class AdamW(Optimizer):
def __init__(self, params, lr=1e-3, betas=(0.9, 0.999), eps=1e-8,
weight_decay=0.01, warmup_steps=1000):
defaults = dict(lr=lr, betas=betas, eps=eps,
weight_decay=weight_decay, warmup_steps=warmup_steps)
super().__init__(params, defaults)
def step(self, closure=None):
loss = None
if closure is not None:
loss = closure()
for group in self.param_groups:
for p in group['params']:
if p.grad is None:
continue
# 梯度计算
grad = p.grad.data
state = self.state[p]
# 状态初始化
if len(state) == 0:
state['step'] = 0
state['exp_avg'] = torch.zeros_like(p.data)
state['exp_avg_sq'] = torch.zeros_like(p.data)
exp_avg, exp_avg_sq = state['exp_avg'], state['exp_avg_sq']
beta1, beta2 = group['betas']
# 更新步数
state['step'] += 1
t = state['step']
# 学习率预热
lr = group['lr']
if group['warmup_steps'] > 0:
lr *= min(t / group['warmup_steps'], 1.0)
# 梯度动量更新
exp_avg.mul_(beta1).add_(grad, alpha=1-beta1)
exp_avg_sq.mul_(beta2).addcmul_(grad, grad, value=1-beta2)
# 偏差修正
bias_correction1 = 1 - beta1 ** t
bias_correction2 = 1 - beta2 ** t
denom = (exp_avg_sq.sqrt() / math.sqrt(bias_correction2)).add_(group['eps'])
# 参数更新（解耦权重衰减）p.data.addcdiv_(exp_avg, denom, value=-lr / bias_correction1)
p.data.mul_(1 - lr * group['weight_decay'])
return loss参数调优指南
学习率与 batch size 关系
采用线性缩放法则（He et al. 2015）：
| Batch Size | 基础学习率 | 实际学习率 |
|---|---|---|
| 64 | 3e-4 | 3e-4 |
| 128 | 3e-4 | 6e-4 |
| 256 | 3e-4 | 1.2e-3 |
| 512 | 3e-4 | 2.4e-3 |
权重衰减系数选择
| 模型参数量 | 推荐衰减系数 | 适用场景 |
|---|---|---|
| <1M | 0.01 | 小规模分类任务 |
| 1M-50M | 0.005 | 中等规模 CNN/RNN |
| >50M | 0.001 | 大规模 Transformer |
避坑实践
验证集 loss 震荡调试
- 检查梯度裁剪 ：设置
max_norm=1.0避免梯度爆炸 - 调整学习率调度：尝试余弦退火代替线性衰减
scheduler = torch.optim.lr_scheduler.CosineAnnealingLR(optimizer, T_max=epochs) - 监控参数更新比：确保 $|\Delta\theta|/|\theta|$ 在 1e- 3 到 1e- 5 之间
混合精度训练技巧
- 将默认
eps从 1e- 8 调整为 1e- 4 以避免数值下溢 - 配合
torch.cuda.amp.GradScaler()使用
性能验证
在 CIFAR-10 上的对比实验（ResNet-18）：
| 优化器 | 最终准确率 | 训练波动幅度 |
|---|---|---|
| Adam | 94.2% | ±1.8% |
| AdamW | 95.1% | ±0.6% |
| SGD | 95.3% | ±0.3% |
完整实验代码可在 Colab 运行：
总结
AdamW 通过解耦权重衰减机制，在保持 Adam 快速收敛优点的同时，解决了自适应优化器与 L2 正则化的冲突问题。实际使用时需要注意：
- 学习率需要随 batch size 线性缩放
- 权重衰减系数应与模型规模负相关
- 混合精度训练时适当增大 eps 值
这些经验来自我们在多个视觉和 NLP 任务上的实践，希望能帮助大家更稳定地训练深度学习模型。
正文完
