AdamW优化器参数选取实战指南：从理论到调参避坑

1次阅读

没有评论

共计 2802 个字符，预计需要花费 8 分钟才能阅读完成。

在深度学习中，优化器的参数选择直接影响模型的训练效果。不当的参数设置可能导致以下常见问题：

训练震荡：学习率过大时，损失函数会在最小值附近震荡而无法收敛
收敛速度慢：学习率过小会导致训练过程极其缓慢
模型过拟合：权重衰减设置不当无法有效控制模型复杂度
数值不稳定：eps 值过小可能导致除零错误

这些问题在实际项目中常常让新手感到困扰，特别是在没有足够调参经验时。

AdamW 是 Adam 优化器的重要改进版本，主要差异在于权重衰减 (weight decay) 的处理方式：

传统 Adam：将权重衰减直接混入梯度计算中
AdamW：将权重衰减与梯度更新解耦，单独处理

这种改进带来两个显著优势：

权重衰减效果更加稳定可预测
超参数调整时学习率和权重衰减的影响更加独立

数学上，AdamW 的更新公式为：

θ_t = θ_{t-1} - η*(m_t/(√v_t + ε) + λ*θ_{t-1})

其中 λ 就是权重衰减系数。

作用：控制每次参数更新的步长
典型值：
常用范围：1e- 5 到 1e-3
小数据集：1e- 4 到 1e-3
大数据集：1e- 5 到 1e-4
建议：
从较大值开始尝试，逐步减小
配合学习率调度器使用效果更佳

组成：(β1, β2)
β1 控制一阶矩估计的衰减率(默认 0.9)
β2 控制二阶矩估计的衰减率(默认 0.999)

数学意义：

m_t = β1*m_{t-1} + (1-β1)*g_t
v_t = β2*v_{t-1} + (1-β2)*g_t^2

调整建议：
除非有特殊需求，一般保持默认值
更小的 β2(如 0.99)可能对稀疏梯度有利

作用：防止分母为零的极小常数
典型值：1e-8
注意：
过小可能导致数值不稳定
过大可能影响优化效果

作用：L2 正则化项，防止过拟合
典型值：
小模型：1e- 4 到 1e-3
大模型：1e- 5 到 1e-4
与 Adam 的区别：
AdamW 中权重衰减与梯度更新解耦
效果更加稳定可预测

以下是一个完整的训练代码示例，展示了如何正确配置 AdamW 优化器：

import torch
import torch.nn as nn
import torch.optim as optim
from torchvision import datasets, transforms

# 定义简单 CNN 模型
class SimpleCNN(nn.Module):
    def __init__(self):
        super().__init__()
        self.conv1 = nn.Conv2d(1, 32, 3, 1)
        self.fc = nn.Linear(9216, 10)

    def forward(self, x):
        x = self.conv1(x)
        x = torch.flatten(x, 1)
        return self.fc(x)

# 准备 MNIST 数据集
transform = transforms.Compose([transforms.ToTensor(),
    transforms.Normalize((0.1307,), (0.3081,))
])

train_dataset = datasets.MNIST('../data', train=True, download=True, transform=transform)
train_loader = torch.utils.data.DataLoader(train_dataset, batch_size=64, shuffle=True)

# 初始化模型和优化器
model = SimpleCNN()
criterion = nn.CrossEntropyLoss()

# AdamW 优化器配置
optimizer = optim.AdamW(model.parameters(),
    lr=1e-3,          # 学习率
    betas=(0.9, 0.999), # 动量参数
    eps=1e-8,         # 数值稳定项
    weight_decay=1e-4 # 权重衰减
)

# 训练循环
for epoch in range(10):
    model.train()
    for batch_idx, (data, target) in enumerate(train_loader):
        optimizer.zero_grad()
        output = model(data)
        loss = criterion(output, target)
        loss.backward()
        optimizer.step()

        if batch_idx % 100 == 0:
            print(f'Epoch: {epoch} | Batch: {batch_idx} | Loss: {loss.item():.4f}')

我们在 MNIST 数据集上对比了不同参数组合的训练效果：