深度学习优化算法解析：从梯度下降到Adam的演进与实战

1次阅读

共计 2232 个字符，预计需要花费 6 分钟才能阅读完成。

在深度学习模型训练中，优化算法直接影响模型的收敛速度和最终性能。传统的梯度下降（Gradient Descent, GD）算法虽然简单直接，但在实际应用中存在几个明显的局限性：

收敛速度慢 ：GD 需要在整个数据集上计算梯度，计算开销大，尤其当数据规模庞大时，每次迭代耗时显著增加。
易陷入局部最优 ：GD 容易受初始点影响，可能收敛到局部最优而非全局最优解。
学习率固定 ：GD 使用固定的学习率，无法根据不同参数的梯度动态调整，导致训练过程不稳定。

这些问题促使研究者开发更高效的优化算法，如 Momentum、RMSprop 等，最终催生了 Adam（Adaptive Moment Estimation）这一目前广泛使用的优化器。

Momentum 算法通过引入动量项来加速梯度下降过程。其核心思想是积累历史梯度信息，使得参数更新方向更加平滑。数学表达如下：

v_t = \beta v_{t-1} + (1 - \beta) \nabla_\theta J(\theta)
\theta = \theta - \alpha v_t

其中，(v_t) 是动量项，(\beta) 是动量系数，通常设置为 0.9。Momentum 通过积累历史梯度，减少了震荡，加速了收敛。

RMSprop 算法通过自适应调整学习率来解决梯度消失或爆炸问题。它根据梯度的平方的指数移动平均来调整每个参数的学习率。公式如下：

E[g^2]_t = \gamma E[g^2]_{t-1} + (1 - \gamma) g_t^2
\theta = \theta - \frac{\alpha}{\sqrt{E[g^2]_t + \epsilon}} g_t

RMSprop 通过归一化梯度，使得每个参数的学习率能够自适应调整，提高了训练的稳定性。

Adam 结合了 Momentum 和 RMSprop 的优点，通过一阶矩估计（均值）和二阶矩估计（方差）来动态调整每个参数的学习率。其核心公式如下：

m_t = \beta_1 m_{t-1} + (1 - \beta_1) g_t
v_t = \beta_2 v_{t-1} + (1 - \beta_2) g_t^2
\hat{m}_t = \frac{m_t}{1 - \beta_1^t}
\hat{v}_t = \frac{v_t}{1 - \beta_2^t}
\theta_t = \theta_{t-1} - \alpha \frac{\hat{m}_t}{\sqrt{\hat{v}_t} + \epsilon}

Adam 通过自适应学习率和动量项，显著提升了模型的收敛速度和稳定性。

以下是 Adam 算法的伪代码实现：

Initialize parameters θ, m = 0, v = 0, t = 0
while not converged:
    t += 1
    g = compute_gradient(θ)
    m = β1 * m + (1 - β1) * g
    v = β2 * v + (1 - β2) * g^2
    m_hat = m / (1 - β1^t)
    v_hat = v / (1 - β2^t)
    θ = θ - α * m_hat / (sqrt(v_hat) + ε)

以下是用 PyTorch 实现 Adam 优化器的示例代码：

import torch
import torch.nn as nn
import torch.optim as optim

# 定义一个简单的模型
model = nn.Sequential(nn.Linear(784, 128),
    nn.ReLU(),
    nn.Linear(128, 10)
)

# 定义损失函数和优化器
criterion = nn.CrossEntropyLoss()
optimizer = optim.Adam(model.parameters(), lr=0.001, betas=(0.9, 0.999), eps=1e-8)

# 训练循环
for epoch in range(10):
    for data, target in train_loader:
        optimizer.zero_grad()
        output = model(data)
        loss = criterion(output, target)
        loss.backward()
        optimizer.step()

我们设计了一个简单的实验，比较 SGD、Momentum 和 Adam 在 MNIST 数据集上的表现。实验结果显示，Adam 在收敛速度和最终准确率上均优于其他两种方法。

import matplotlib.pyplot as plt

# 训练曲线
plt.plot(sgd_loss, label='SGD')
plt.plot(momentum_loss, label='Momentum')
plt.plot(adam_loss, label='Adam')
plt.xlabel('Epoch')
plt.ylabel('Loss')
plt.legend()
plt.show()