深度学习调参实战：AdamW优化器的超参数选择与性能优化

1次阅读

共计 1813 个字符，预计需要花费 5 分钟才能阅读完成。

AdamW 优化器是 Adam 的改进版本，主要区别在于权重衰减（weight decay）的处理方式。在原始 Adam 中，权重衰减与梯度更新是耦合在一起的，这可能导致权重衰减的效果不如预期。而 AdamW 将权重衰减解耦，直接应用到参数更新步骤中，从而更有效地控制模型复杂度。

理论优势 ：AdamW 的这种解耦方式使得权重衰减的作用更加明确，避免了学习率和权重衰减之间的相互干扰，从而提升了训练的稳定性和最终模型的泛化性能。
论文依据 ：这一改进源于 2017 年 Loschilov 和 Hutter 的论文《Decoupled Weight Decay Regularization》，文中通过实验证明了 AdamW 在多个任务上的优越性。

学习率是优化器中最重要的超参数之一，控制每次参数更新的步长。

作用机制 ：学习率过大可能导致震荡甚至发散，过小则收敛缓慢。
典型取值 ：一般从 1e- 3 到 1e- 5 之间尝试，具体取决于任务复杂度。

这两个参数分别控制一阶矩（均值）和二阶矩（方差）的指数衰减率。

Beta1：通常设置为 0.9，控制梯度均值的衰减速度。
Beta2：通常设置为 0.999，控制梯度方差的衰减速度。
调整建议 ：在噪声较大的任务中，可以适当降低 Beta2 以更快适应变化。

权重衰减用于防止过拟合，通过对大权重施加惩罚来约束模型复杂度。

作用机制 ：在 AdamW 中，权重衰减是独立于梯度更新的。
典型取值 ：一般在 1e- 2 到 1e- 4 之间，具体取决于模型大小和数据量。

CV 任务通常需要较大的学习率和较小的权重衰减。

学习率 ：1e- 3 到 1e-4
权重衰减 ：1e- 4 到 1e-5

NLP 任务通常需要较小的学习率和较大的权重衰减。

学习率 ：1e- 4 到 1e-5
权重衰减 ：1e- 2 到 1e-3

以下是一个完整的训练循环示例，展示了如何在 PyTorch 中配置 AdamW 优化器并监控训练过程。

import torch
import torch.nn as nn
import torch.optim as optim
from torch.utils.data import DataLoader

# 定义模型
model = YourModel()

# 定义损失函数
criterion = nn.CrossEntropyLoss()

# 定义优化器
optimizer = optim.AdamW(model.parameters(),
    lr=1e-4,
    betas=(0.9, 0.999),
    weight_decay=1e-2
)

# 数据加载器
train_loader = DataLoader(train_dataset, batch_size=32, shuffle=True)

# 训练循环
for epoch in range(num_epochs):
    for batch in train_loader:
        inputs, labels = batch

        # 前向传播
        outputs = model(inputs)
        loss = criterion(outputs, labels)

        # 反向传播
        optimizer.zero_grad()
        loss.backward()
        optimizer.step()

        # 打印训练信息
        print(f'Epoch {epoch}, Loss: {loss.item()}')