深度学习优化算法解析：从梯度下降到Adadelta的演进逻辑

共计 2016 个字符，预计需要花费 6 分钟才能阅读完成。

基础原理：梯度下降与反向传播

深度学习的核心是通过调整参数 $\theta$ 来最小化损失函数 $L(\theta)$。梯度下降的更新规则可表示为：

$$\theta_{t+1} = \theta_t – \eta \cdot \nabla_\theta L(\theta_t)$$

其中 $\eta$ 是学习率，$\nabla_\theta L(\theta_t)$ 通过反向传播算法计算得到。反向传播的本质是链式法则的递归应用，例如对二层神经网络的权重更新：

$$\frac{\partial L}{\partial W} = \frac{\partial L}{\partial a}\cdot\frac{\partial a}{\partial W}$$

优化算法演进对比

1. 随机梯度下降(SGD)

# 伪代码实现
for epoch in epochs:
    shuffle(data)
    for x, y in data:
        grad = compute_gradient(x, y)
        params -= lr * grad

– 问题：固定学习率导致收敛慢，容易震荡

2. Momentum

引入动量项 $\gamma v_{t-1}$ 积累历史梯度：
$$v_t = \gamma v_{t-1} + \eta \nabla_\theta L(\theta_t)$$
$$\theta_{t+1} = \theta_t – v_t$$

3. RMSprop

对梯度平方做指数加权平均：
$$E[g^2]t = \rho E[g^2] + (1-\rho)g_t^2$$
$$\theta_{t+1} = \theta_t – \frac{\eta}{\sqrt{E[g^2]_t + \epsilon}}g_t$$

4. Adadelta

核心改进是取消全局学习率，改用梯度变化的均方根 (RMS) 作为自适应单位：

# 关键变量定义
avg_grad_sq = 0  # E[g²]
avg_delta_sq = 0 # E[Δθ²]

for grad in gradients:
    avg_grad_sq = ρ * avg_grad_sq + (1-ρ) * grad**2
    delta_θ = - (RMS(Δθ)_{t-1} / RMS(g)_t) * grad
    avg_delta_sq = ρ * avg_delta_sq + (1-ρ) * delta_θ**2
    θ += delta_θ

PyTorch 完整实现

import torch
import matplotlib.pyplot as plt

# 数据准备
X = torch.randn(1000, 10)
y = (X[:, 0] > 0).float()
dataset = torch.utils.data.TensorDataset(X, y)

# 模型定义
model = torch.nn.Sequential(torch.nn.Linear(10, 5),
    torch.nn.ReLU(),
    torch.nn.Linear(5, 1),
    torch.nn.Sigmoid())

# Adadelta 优化器
optimizer = torch.optim.Adadelta(model.parameters(), rho=0.9)

# 训练循环
losses = []
for epoch in range(100):
    for x_batch, y_batch in torch.utils.data.DataLoader(dataset, batch_size=32):
        optimizer.zero_grad()
        pred = model(x_batch).squeeze()
        loss = torch.nn.functional.binary_cross_entropy(pred, y_batch)
        loss.backward()
        optimizer.step()
    losses.append(loss.item())

# 可视化
plt.plot(losses)
plt.xlabel('Epoch')
plt.ylabel('Loss')
plt.show()

实践测试结果

学习率敏感度测试（固定其他参数）

Batch Size 稳定性对比

常见误区与决策指南

典型错误

• 错误初始化导致梯度爆炸（解决方案：使用 Xavier 初始化）
• 未正确设置 rho 参数（推荐 0.9-0.99 之间）
• 在初始阶段误判不收敛（Adadelta 需要约 10-20 个 epoch 预热）

算法选择决策树

是否稀疏数据？├─ 是 → 考虑 Adam/Adagrad
  └─ 否 → 需要动态学习率？├─ 是 → Adadelta/RMSprop
       └─ 否 → SGD with Momentum

延伸思考

1. 如何将 Adadelta 的 RMS 思想应用于二阶优化方法？
2. 在联邦学习场景下如何改进 Adadelta 的梯度累积机制？
3. 动态 rho 值是否能进一步提升性能？（参考论文 arXiv:1609.04747）

测试环境：PyTorch 1.8, CUDA 11.1, NVIDIA RTX 3090