深度学习调优实战：AdamW优化器参数选取的黄金法则

1次阅读

共计 1424 个字符，预计需要花费 4 分钟才能阅读完成。

在 Transformer、BERT 等现代深度学习架构中，AdamW 已成为默认的优化器选择。相比传统 Adam，AdamW 通过解耦权重衰减 (weight decay) 和梯度更新，显著提升了模型泛化能力。但在实际应用中，即便是 0.1 倍的学习率偏差，也可能导致训练过程完全发散——笔者曾遇到将学习率从 3e- 5 调整为 4e- 5 时，模型准确率直接下降 12% 的案例。这种极端的参数敏感性，使得掌握 AdamW 的调参技巧变得至关重要。

传统 Adam 将权重衰减 (L2 正则化) 直接混入梯度计算：

θ_t ← θ_{t-1} - η(∇L(θ_{t-1}) + λθ_{t-1})

而 AdamW 将权重衰减独立处理：

θ_t ← (1 - ηλ)θ_{t-1} - η∇L(θ_{t-1})

这种解耦使得权重衰减真正发挥正则化作用，而非单纯的梯度修正。

参数	建议范围	说明
学习率(lr)	1e-5 ~ 3e-4	BERT 类模型建议 3e-5
β1	0.8 ~ 0.9	一阶矩估计衰减率
β2	0.99 ~ 0.999	二阶矩估计衰减率
eps	1e-8 ~ 1e-6	混合精度训练需≥1e-6
权重衰减	0.01 ~ 0.1	视觉任务偏大，NLP 偏小

import torch
from torch.optim import AdamW

# 关键参数初始化策略
optimizer = AdamW(model.parameters(),
    lr=3e-5,                # 初始学习率
    betas=(0.9, 0.999),     # 默认 β1, β2
    eps=1e-8,               # 浮点精度保护
    weight_decay=0.01       # 解耦后的权重衰减
)

# 学习率调度器对比
from torch.optim.lr_scheduler import (LinearLR, CosineAnnealingLR)

# 线性衰减：total_epochs 需与训练循环匹配
scheduler_linear = LinearLR(
    optimizer, 
    start_factor=1.0,
    end_factor=0.1, 
    total_iters=100
)

# 余弦衰减：更适合 CV 任务
scheduler_cosine = CosineAnnealingLR(
    optimizer, 
    T_max=50,  # 半周期长度
    eta_min=1e-6  # 最小学习率
)