深入解析bp反向传播算法中的梯度下降：从数学原理到代码实现

1次阅读

共计 1953 个字符，预计需要花费 5 分钟才能阅读完成。

梯度下降是优化神经网络的核心算法，其核心思想是通过迭代调整参数，使得损失函数的值逐渐减小。在反向传播算法中，梯度下降用于计算损失函数对每个参数的偏导数，从而更新参数。

损失函数 ：假设我们有一个损失函数 $L(\theta)$，其中 $\theta$ 表示模型的参数。我们的目标是最小化这个损失函数。
梯度计算 ：梯度是损失函数对参数的偏导数，即 $\nabla L(\theta)$。梯度指向损失函数增长最快的方向，因此我们沿着梯度的反方向更新参数。
参数更新 ：参数更新公式为 $\theta_{new} = \theta_{old} – \eta \nabla L(\theta_{old})$，其中 $\eta$ 是学习率，控制每次更新的步长。

在反向传播中，梯度下降通过链式法则逐层计算梯度，从输出层反向传播到输入层，因此得名“反向传播”。

以下是一个简单的梯度下降实现，用于优化一个简单的线性回归模型。

import numpy as np

# 定义损失函数（均方误差）def loss_function(X, y, theta):
    m = len(y)
    predictions = X.dot(theta)
    error = predictions - y
    return (1/(2*m)) * np.sum(error ** 2)

# 计算梯度
def compute_gradient(X, y, theta):
    m = len(y)
    predictions = X.dot(theta)
    error = predictions - y
    gradient = (1/m) * X.T.dot(error)
    return gradient

# 梯度下降算法
def gradient_descent(X, y, theta, learning_rate, iterations):
    m = len(y)
    loss_history = []

    for i in range(iterations):
        gradient = compute_gradient(X, y, theta)
        theta = theta - learning_rate * gradient
        loss = loss_function(X, y, theta)
        loss_history.append(loss)

    return theta, loss_history

# 示例数据
X = np.array([[1, 1], [1, 2], [1, 3]])
y = np.array([1, 2, 3])
theta = np.zeros(2)
learning_rate = 0.1
iterations = 100

# 运行梯度下降
theta_optimized, loss_history = gradient_descent(X, y, theta, learning_rate, iterations)
print("优化后的参数:", theta_optimized)

代码注释：
– loss_function：计算均方误差损失。
– compute_gradient：计算损失函数对参数的梯度。
– gradient_descent：执行梯度下降迭代，更新参数并记录损失历史。

梯度下降的性能受多个超参数影响，以下是关键点：

学习率（$\eta$）：学习率过大可能导致震荡或发散，过小则收敛缓慢。通常通过网格搜索或学习率调度（如指数衰减）来调整。
批量大小（Batch Size）：批量梯度下降使用全部数据计算梯度，随机梯度下降（SGD）使用单个样本，小批量梯度下降（Mini-batch SGD）是折中方案。小批量通常能平衡计算效率和收敛速度。
动量（Momentum）：引入动量项可以加速收敛并减少震荡，公式为 $v_t = \gamma v_{t-1} + \eta \nabla L(\theta)$，$\theta_{new} = \theta_{old} – v_t$。

梯度消失 / 爆炸 ：深层网络中梯度可能过小或过大，导致训练困难。解决方案包括使用 ReLU 激活函数、梯度裁剪或 Batch Normalization。
局部最优 ：梯度下降可能陷入局部最优。使用随机初始化、动量或 Adam 优化器可以缓解。
学习率选择 ：始终监控损失函数曲线，如果损失震荡或下降过慢，调整学习率。