深度学习优化算法解析：从梯度下降到Adadelta的演进逻辑与实现

1次阅读

没有评论

共计 2125 个字符，预计需要花费 6 分钟才能阅读完成。

在深度学习中，优化算法扮演着关键角色。梯度下降（Gradient Descent）是最基础的优化方法，它通过计算损失函数对模型参数的梯度来更新参数，公式如下：

$$\theta_{t+1} = \theta_t – \eta \cdot \nabla_\theta J(\theta_t)$$

其中 $\eta$ 是学习率，$\nabla_\theta J(\theta_t)$ 是梯度。反向传播算法则是高效计算这些梯度的技术。

然而，传统梯度下降存在明显局限：

学习率 $\eta$ 需要手动设置，过大可能导致震荡，过小则收敛缓慢
对所有参数使用相同的学习率，忽略了不同参数可能需要不同更新幅度
在非凸优化中容易陷入局部最优

Momentum 通过引入速度变量 $v$ 来累积历史梯度信息，帮助加速收敛：

$$v_t = \gamma v_{t-1} + \eta \nabla_\theta J(\theta_t)$$
$$\theta_{t+1} = \theta_t – v_t$$

其中 $\gamma$ 通常设为 0.9。这能在相关方向上加速学习，抑制震荡。

RMSprop 通过按梯度平方的指数衰减平均来调整学习率：

$$E[g^2]t = \rho E[g^2] + (1-\rho)g_t^2$$
$$\theta_{t+1} = \theta_t – \frac{\eta}{\sqrt{E[g^2]_t + \epsilon}} \cdot g_t$$

Adadelta 进一步改进 RMSprop，完全消除了学习率 $\eta$：

累积梯度平方：
$$E[g^2]t = \rho E[g^2] + (1-\rho)g_t^2$$
计算参数更新量：
$$\Delta \theta_t = – \frac{\sqrt{E[\Delta \theta^2]_{t-1} + \epsilon}}{\sqrt{E[g^2]_t + \epsilon}} \cdot g_t$$
累积更新量平方：
$$E[\Delta \theta^2]t = \rho E[\Delta \theta^2] + (1-\rho)\Delta \theta_t^2$$
更新参数：
$$\theta_{t+1} = \theta_t + \Delta \theta_t$$

以下是 Adadelta 的 Python 实现（使用 NumPy）：

import numpy as np

class Adadelta:
    def __init__(self, rho=0.95, eps=1e-6):
        self.rho = rho  # 衰减系数
        self.eps = eps  # 小常数防止除零
        self.E_g2 = None  # 梯度平方的移动平均
        self.E_dx2 = None  # 更新量平方的移动平均

    def update(self, params, grads):
        if self.E_g2 is None:
            self.E_g2 = {k: np.zeros_like(v) for k, v in params.items()}
            self.E_dx2 = {k: np.zeros_like(v) for k, v in params.items()}

        for key in params.keys():
            # 更新梯度平方的移动平均
            self.E_g2[key] = self.rho * self.E_g2[key] + (1 - self.rho) * grads[key]**2

            # 计算参数更新量
            delta_theta = - (np.sqrt(self.E_dx2[key] + self.eps) / 
                            np.sqrt(self.E_g2[key] + self.eps)) * grads[key]

            # 更新参数
            params[key] += delta_theta

            # 更新更新量平方的移动平均
            self.E_dx2[key] = self.rho * self.E_dx2[key] + (1 - self.rho) * delta_theta**2

        return params

我们在 MNIST 数据集上测试了三种算法（SGD、Momentum、Adadelta）的表现：