深度学习优化算法解析：从梯度下降到Adam与RMSprop的演进与实践

1次阅读

没有评论

共计 1960 个字符，预计需要花费 5 分钟才能阅读完成。

梯度下降是深度学习的基石，其核心思想是通过迭代调整参数，沿着损失函数梯度的反方向逐步逼近最小值。数学表达为：

$$\theta_{t+1} = \theta_t – \eta \cdot \nabla_\theta J(\theta_t)$$

其中 $\eta$ 是学习率，$\nabla_\theta J(\theta_t)$ 是损失函数对参数的梯度。在深度学习中，梯度下降主要有三种变体：

批量梯度下降(BGD)：使用全部数据计算梯度，计算稳定但内存消耗大
随机梯度下降(SGD)：每次随机选取一个样本，计算高效但波动大
小批量梯度下降(Mini-batch SGD)：折中方案，也是实际最常用的方式

尽管梯度下降简单有效，但在实际应用中面临多个挑战：

学习率选择困难：固定学习率难以适应不同参数和训练阶段的需求
鞍点问题：在高维空间中，梯度为零的点可能是鞍点而非极值点
参数更新同质化：所有参数使用相同的学习率，忽略特征频率差异
局部最优陷阱：非凸函数中容易陷入局部最优解

RMSprop 通过引入梯度平方的指数移动平均来调整学习率：

$$E[g^2]t = \gamma E[g^2] + (1-\gamma)g_t^2$$
$$\theta_{t+1} = \theta_t – \frac{\eta}{\sqrt{E[g^2]_t + \epsilon}} \cdot g_t$$

关键改进点：

对频繁更新的参数使用较小学习率
对稀疏特征使用较大学习率
默认超参数 $\gamma=0.9$ 效果良好

Adam 结合了动量法和 RMSprop 的优点：

$$m_t = \beta_1 m_{t-1} + (1-\beta_1)g_t$$
$$v_t = \beta_2 v_{t-1} + (1-\beta_2)g_t^2$$
$$\hat{m}t = \frac{m_t}{1-\beta_1^t}, \hat{v}_t = \frac{v_t}{1-\beta_2^t}$$
$$\theta_t$$} = \theta_t – \frac{\eta}{\sqrt{\hat{v}_t} + \epsilon} \hat{m

设计特点：

一阶矩估计 ($m_t$) 相当于动量项
二阶矩估计 ($v_t$) 自适应调整学习率
偏置校正使初期估计更准确

import torch
import torch.nn as nn
import torch.optim as optim

# 定义一个简单模型
model = nn.Sequential(nn.Linear(784, 256),
    nn.ReLU(),
    nn.Linear(256, 10)
)

# 不同优化器对比
optimizers = {'SGD': optim.SGD(model.parameters(), lr=0.01),
    'RMSprop': optim.RMSprop(model.parameters(), lr=0.001, alpha=0.9),
    'Adam': optim.Adam(model.parameters(), lr=0.001, betas=(0.9, 0.999))
}

# 训练循环示例
for epoch in range(10):
    for data, target in train_loader:
        optimizer.zero_grad()
        output = model(data)
        loss = criterion(output, target)
        loss.backward()
        optimizer.step()

在 MNIST 数据集上的测试结果：