3blue1brown《深度学习之梯度下降》原理详解与Python实现

1次阅读

共计 2128 个字符，预计需要花费 6 分钟才能阅读完成。

梯度下降是深度学习中最为核心的优化算法之一，它通过迭代的方式寻找损失函数的最小值，从而优化神经网络的参数。无论是简单的线性回归还是复杂的深度神经网络，梯度下降都扮演着至关重要的角色。3blue1brown 的视频以其直观的几何解释，帮助我们从数学本质上理解梯度下降的工作原理。本文将从数学原理出发，结合 Python 代码实现，详细解析梯度下降的工作机制。

梯度下降的核心思想是通过计算损失函数的梯度（即导数），沿着梯度的反方向调整参数，从而逐步逼近最小值。具体来说，对于一个参数向量 (\theta) 和损失函数 (J(\theta))，梯度下降的更新规则为：

[\theta_{new} = \theta_{old} – \alpha \nabla J(\theta_{old}) ]

其中，(\alpha) 是学习率（learning rate），控制每次更新的步长；(\nabla J(\theta)) 是损失函数的梯度。

从几何上看，梯度指向函数值增长最快的方向，因此沿着梯度的反方向移动可以让我们逐步接近最小值。这一过程可以用一个简单的二维函数为例进行可视化。

下面是一个用 NumPy 实现的梯度下降算法，用于优化一个简单的二次函数 (J(\theta) = \theta^2)。虽然这个函数非常简单，但它能帮助我们理解梯度下降的基本流程。

import numpy as np
import matplotlib.pyplot as plt

# 定义损失函数
def loss_function(theta):
    return theta ** 2

# 定义梯度函数
def gradient(theta):
    return 2 * theta

# 梯度下降算法
def gradient_descent(initial_theta, learning_rate, num_iterations):
    theta = initial_theta
    history = []  # 记录每次迭代的 theta 值

    for i in range(num_iterations):
        grad = gradient(theta)
        theta = theta - learning_rate * grad
        history.append(theta)

    return theta, history

# 参数设置
initial_theta = 5.0
learning_rate = 0.1
num_iterations = 20

# 运行梯度下降
theta_optimal, history = gradient_descent(initial_theta, learning_rate, num_iterations)
print("最优参数值:", theta_optimal)

# 可视化迭代过程
theta_range = np.linspace(-6, 6, 100)
plt.plot(theta_range, loss_function(theta_range), label='Loss Function')
plt.scatter(history, [loss_function(t) for t in history], c='red', label='Gradient Descent Steps')
plt.xlabel('Theta')
plt.ylabel('Loss')
plt.legend()
plt.show()

学习率（Learning Rate）：学习率决定了每次参数更新的步长。过大的学习率可能导致算法无法收敛，甚至发散；而过小的学习率则会让收敛速度变慢。在实际应用中，通常需要通过实验选择一个合适的学习率。
批量大小（Batch Size）：在随机梯度下降（SGD）中，批量大小决定了每次更新时使用的样本数量。较大的批量大小可以更准确地估计梯度，但计算成本更高；较小的批量大小虽然计算效率高，但梯度估计的噪声更大。

局部最优（Local Optima）：在高维空间中，损失函数可能存在多个局部最小值。梯度下降可能会陷入某个局部最小值而无法找到全局最小值。不过，在深度学习中，由于参数空间的高维性，局部最优通常不如“鞍点”问题严重。
梯度消失（Vanishing Gradients）：在深层网络中，梯度可能会在反向传播过程中逐渐变小，导致靠近输入层的参数更新非常缓慢。这一问题可以通过使用 ReLU 等激活函数或批量归一化（Batch Normalization）来缓解。

梯度下降不仅是深度学习的核心算法，还衍生出了多种变体，如随机梯度下降（SGD）、动量法（Momentum）、Adam 等。这些方法通过引入额外的机制（如动量、自适应学习率等）来加速收敛或提高稳定性。

在实际的神经网络训练中，梯度下降通常与反向传播算法结合使用。反向传播通过链式法则高效地计算损失函数对每个参数的梯度，从而让梯度下降能够应用于复杂的网络结构。