Adam优化器过拟合问题解析：从原理到解决方案

1次阅读

共计 2055 个字符，预计需要花费 6 分钟才能阅读完成。

Adam 优化器结合了动量（Momentum）和自适应学习率（RMSProp）的优点，通过计算梯度的一阶矩估计（均值）和二阶矩估计（未中心化的方差）来动态调整每个参数的学习率。这种自适应特性使得 Adam 在大多数深度学习任务中表现优异，尤其适合处理稀疏梯度或噪声较多的数据。

然而，自适应学习率也可能导致过拟合。过拟合是指模型在训练集上表现良好，但在验证集或测试集上表现不佳。Adam 优化器的自适应特性可能使模型过于依赖训练数据的特定噪声或细节，从而降低泛化能力。

小数据集 ：当训练数据较少时，模型更容易记住训练数据的噪声，Adam 的自适应学习率可能加剧这一问题。
高学习率 ：初始学习率设置过高可能导致模型在训练初期就陷入局部最优，难以跳出。
不合理的 beta1/beta2 参数 ：beta1 和 beta2 控制动量和自适应学习率的衰减率，不合理的设置可能导致学习率调整不稳定。
缺乏正则化 ：未使用权重衰减或 L2 正则化时，模型参数可能变得过大，增加过拟合风险。

beta1 通常设置为 0.9，beta2 设置为 0.999。这些值在大多数情况下表现良好，但对于特定任务可能需要调整：

降低 beta1（如 0.8）可以减少动量的影响，适合噪声较多的数据。
提高 beta2（如 0.9999）可以减缓学习率的衰减速度，适合长期训练任务。

线性衰减 ：学习率随着训练步数线性减少，简单但可能过于激进。
余弦衰减 ：学习率按余弦函数平滑下降，更适合长期训练任务。

权重衰减（Weight Decay）通过向损失函数添加 L2 正则项，惩罚较大的权重值，从而抑制过拟合。在 Adam 优化器中，权重衰减通常与学习率分开设置，以避免自适应学习率的影响。

import torch
import torch.nn as nn
import torch.optim as optim
from torch.utils.data import DataLoader

# 定义模型
class SimpleModel(nn.Module):
    def __init__(self):
        super(SimpleModel, self).__init__()
        self.fc = nn.Linear(784, 10)

    def forward(self, x):
        return self.fc(x)

# 初始化模型、损失函数和优化器
model = SimpleModel()
criterion = nn.CrossEntropyLoss()
optimizer = optim.Adam(model.parameters(), lr=0.001, betas=(0.9, 0.999), weight_decay=1e-5)

# 早停机制
best_val_loss = float('inf')
patience = 5
counter = 0

for epoch in range(100):
    model.train()
    for batch in train_loader:
        optimizer.zero_grad()
        outputs = model(batch[0])
        loss = criterion(outputs, batch[1])
        loss.backward()
        optimizer.step()

    model.eval()
    val_loss = 0.0
    with torch.no_grad():
        for batch in val_loader:
            outputs = model(batch[0])
            val_loss += criterion(outputs, batch[1]).item()

    val_loss /= len(val_loader)
    if val_loss < best_val_loss:
        best_val_loss = val_loss
        counter = 0
    else:
        counter += 1
        if counter >= patience:
            print(f'Early stopping at epoch {epoch}')
            break