深度学习优化算法解析：Adadelta与梯度下降、反向传播的协同逻辑

1次阅读

共计 1837 个字符，预计需要花费 5 分钟才能阅读完成。

在深度学习模型训练中，优化算法的选择直接影响模型的训练效率和最终性能。传统的梯度下降算法（Gradient Descent）虽然简单直观，但在实际应用中面临诸多挑战：

学习率选择困难：固定学习率可能导致收敛速度慢或震荡
参数更新策略单一：所有参数使用相同的学习率，忽略不同参数的重要性和梯度变化
收敛速度不稳定：在损失函数的平坦区域表现不佳

这些痛点促使了自适应优化算法的发展，Adadelta 便是其中之一。它通过动态调整每个参数的学习率，显著提升了训练稳定性和收敛速度。

标准梯度下降的参数更新公式为：

θ_t = θ_{t-1} - η·∇_θJ(θ)

其中 η 是固定学习率，∇_θJ(θ) 是损失函数对参数的梯度。

反向传播（Backpropagation）是计算梯度的有效方法，通过链式法则将误差从输出层向输入层传播。它本身不是优化算法，而是为优化算法提供梯度信息。

Adadelta 是自适应学习率方法，主要改进包括：

累积历史梯度平方：
```
E[g^2]_t = ρE[g^2]_{t-1} + (1-ρ)g_t^2
```

计算参数更新量：

Δθ_t = - (RMS[Δθ]_{t-1})/(RMS[g]_t) · g_t

更新参数：
```
θ_{t+1} = θ_t + Δθ_t
```

其中 ρ 是衰减率，通常取 0.9。与传统梯度下降相比，Adadelta 自动调整学习率，无需手动设置全局学习率。

以下是 Adadelta 的 Python 实现：

import numpy as np

class AdadeltaOptimizer:
    def __init__(self, rho=0.95, epsilon=1e-6):
        self.rho = rho  # 衰减系数
        self.epsilon = epsilon  # 数值稳定项
        self.acc_grad = None  # 累积梯度平方
        self.acc_update = None  # 累积更新平方

    def update(self, params, grads):
        if self.acc_grad is None:
            self.acc_grad = {k: np.zeros_like(v) for k, v in params.items()}
            self.acc_update = {k: np.zeros_like(v) for k, v in params.items()}

        updated_params = {}
        for key in params.keys():
            # 更新累积梯度平方
            self.acc_grad[key] = self.rho * self.acc_grad[key] + \
                                (1 - self.rho) * grads[key]**2

            # 计算参数更新量
            delta = - np.sqrt(self.acc_update[key] + self.epsilon) / \
                    np.sqrt(self.acc_grad[key] + self.epsilon) * grads[key]

            # 更新参数
            updated_params[key] = params[key] + delta

            # 更新累积更新平方
            self.acc_update[key] = self.rho * self.acc_update[key] + \
                                  (1 - self.rho) * delta**2

        return updated_params

我们在 MNIST 数据集上对比了不同优化算法的表现：