AdamW优化器参数选取实战指南：从理论到调参技巧

1次阅读

共计 1864 个字符，预计需要花费 5 分钟才能阅读完成。

AdamW 是 Adam 优化器的一个改进版本，主要区别在于权重衰减（weight decay）的处理方式。在原始的 Adam 优化器中，权重衰减是通过 L2 正则化实现的，这会导致权重衰减与自适应学习率之间存在耦合。而 AdamW 将权重衰减从梯度更新中解耦出来，直接应用于参数更新步骤，使得权重衰减的作用更加明确和有效。

权重衰减在 AdamW 中的作用是防止模型过拟合，通过惩罚较大的权重值，使模型的参数保持在一个较小的范围内。这对于深度学习模型的泛化能力至关重要。

在使用 AdamW 优化器时，开发者常遇到以下问题：

学习率设置不当 ：学习率过大可能导致训练过程中出现震荡，甚至无法收敛；学习率过小则会导致训练速度过慢。
权重衰减过大或过小 ：权重衰减过大会导致模型欠拟合，无法学习到足够复杂的特征；权重衰减过小则可能导致过拟合。
缺乏学习率预热（warmup）：在训练初期，模型的参数可能不稳定，直接使用较大的学习率可能导致训练不稳定。
学习率衰减策略不当 ：缺乏有效的学习率衰减策略可能导致模型在训练后期无法进一步优化。

根据任务类型的不同，AdamW 的参数设置也有所差异：

计算机视觉（CV）任务 ：
学习率（lr）：1e-4 到 1e-3
权重衰减（weight decay）：1e-4 到 1e-2
自然语言处理（NLP）任务 ：
学习率（lr）：1e-5 到 1e-4
权重衰减（weight decay）：1e-4 到 1e-2

学习率预热（warmup）是指在训练初期逐步增加学习率，以避免模型参数的不稳定。常见的预热策略包括线性预热和余弦预热。

学习率衰减策略则是在训练后期逐步降低学习率，以帮助模型更好地收敛。常见的衰减策略包括线性衰减、余弦衰减和阶梯衰减。

以下是一个完整的 PyTorch 实现代码示例，包含了学习率预热和衰减策略：

import torch
from torch.optim import AdamW
from torch.optim.lr_scheduler import LambdaLR

# 定义模型
model = ...

# 定义优化器
optimizer = AdamW(model.parameters(), lr=1e-4, weight_decay=1e-2)

# 定义学习率预热函数
def warmup_lambda(current_step, num_warmup_steps):
    if current_step < num_warmup_steps:
        return float(current_step) / float(max(1, num_warmup_steps))
    return 1.0

# 定义学习率调度器
scheduler = LambdaLR(optimizer, lr_lambda=lambda step: warmup_lambda(step, num_warmup_steps=1000))

# 训练循环
for epoch in range(num_epochs):
    for batch in train_loader:
        optimizer.zero_grad()
        outputs = model(batch)
        loss = criterion(outputs, batch.labels)
        loss.backward()
        optimizer.step()
        scheduler.step()