深度学习优化算法解析：Adam与随机梯度下降(SGD)的核心差异与实战选择

1次阅读

共计 1953 个字符，预计需要花费 5 分钟才能阅读完成。

在深度学习模型中，优化算法决定了参数更新的策略，直接影响模型的收敛速度和最终性能。就像汽车引擎决定行驶效率一样，选择适合的优化器能让训练过程事半功倍。随机梯度下降 (SGD) 作为最基础的优化方法，与后来出现的自适应矩估计 (Adam) 形成了鲜明对比，它们在实战中的表现差异常让初学者困惑。

SGD的更新公式非常简单：
$$\theta_{t+1} = \theta_t – \eta \cdot \nabla_\theta J(\theta_t)$$
其中 $\eta$ 是学习率，$\nabla_\theta J(\theta_t)$ 是当前梯度。

Adam则引入了动量机制和自适应学习率：

计算梯度的一阶矩估计（动量）：
$$m_t = \beta_1 m_{t-1} + (1-\beta_1)g_t$$
计算梯度的二阶矩估计（自适应学习率）：
$$v_t = \beta_2 v_{t-1} + (1-\beta_2)g_t^2$$
偏差修正后更新参数：
$$\theta_{t+1} = \theta_t – \eta \cdot \frac{\hat{m}_t}{\sqrt{\hat{v}_t} + \epsilon}$$

收敛速度：Adam 在初期收敛显著快于 SGD，尤其适合稀疏梯度场景
最终精度：SGD 经过精细调参后可能获得更优的测试集表现
超参数敏感度：Adam 对初始学习率不敏感，SGD 需要仔细调整学习率策略

指标	SGD	Adam
内存占用	低	中
计算复杂度	O(n)	O(n)
并行化难度	易	中

import torch
import torch.nn as nn
import torch.optim as optim
from torchvision import datasets, transforms

# 数据准备
transform = transforms.Compose([transforms.ToTensor(),
    transforms.Normalize((0.1307,), (0.3081,))
])
train_loader = torch.utils.data.DataLoader(datasets.MNIST('./data', train=True, download=True, transform=transform),
    batch_size=64, shuffle=True)

# 模型定义
class Net(nn.Module):
    def __init__(self):
        super(Net, self).__init__()
        self.fc = nn.Linear(784, 10)

    def forward(self, x):
        return self.fc(x.view(-1, 784))

# 训练函数
def train(optimizer):
    model = Net()
    criterion = nn.CrossEntropyLoss()

    for epoch in range(5):
        for data, target in train_loader:
            optimizer.zero_grad()
            output = model(data)
            loss = criterion(output, target)
            loss.backward()
            optimizer.step()

# SGD 优化器
sgd = optim.SGD(Net().parameters(), lr=0.01)

# Adam 优化器
adam = optim.Adam(Net().parameters(), lr=0.001)

关键参数说明：
– SGD 的学习率通常设为 0.01-0.1
– Adam 的初始学习率建议 0.001-0.0001
– batch size 影响梯度估计的准确性