BP神经网络中的梯度下降：从数学原理到Python实战入门指南

1次阅读

共计 1764 个字符，预计需要花费 5 分钟才能阅读完成。

在训练 BP 神经网络时，我们经常会遇到两个典型问题：

梯度消失 / 爆炸：当网络层数较深时，反向传播过程中梯度会呈指数级减小或增大。比如使用 Sigmoid 激活函数时，其导数值最大仅为 0.25，经过多层连乘后梯度可能变得极小。
学习率选择困难：
学习率过大会导致损失函数在最小值附近震荡甚至发散
学习率过小则收敛速度极慢，容易陷入局部最优

梯度下降的核心是链式求导。以 3 层网络为例，隐藏层权重 $W^{(2)}$ 的更新过程为：

$$
\frac{\partial L}{\partial W^{(2)}} = \frac{\partial L}{\partial a^{(3)}} \cdot \frac{\partial a^{(3)}}{\partial z^{(3)}} \cdot \frac{\partial z^{(3)}}{\partial W^{(2)}}
$$

其中：
– $L$ 是损失函数
– $a^{(3)}$ 是输出层激活值
– $z^{(3)}$ 是输出层加权输入

import numpy as np

# Sigmoid 激活函数及导数
def sigmoid(x):
    return 1 / (1 + np.exp(-x))

def sigmoid_derivative(x):
    return x * (1 - x)

# 梯度下降优化
class NeuralNetwork:
    def __init__(self, input_size, hidden_size, output_size):
        self.W1 = np.random.randn(input_size, hidden_size) * 0.01
        self.W2 = np.random.randn(hidden_size, output_size) * 0.01

    def forward(self, X):
        self.z1 = np.dot(X, self.W1)
        self.a1 = sigmoid(self.z1)
        self.z2 = np.dot(self.a1, self.W2)
        self.a2 = sigmoid(self.z2)
        return self.a2

    def backward(self, X, y, learning_rate=0.1):
        # 梯度裁剪阈值
        clip_value = 5.0

        # 反向传播
        error = self.a2 - y
        dW2 = np.dot(self.a1.T, error * sigmoid_derivative(self.a2))
        dW2 = np.clip(dW2, -clip_value, clip_value)

        error_hidden = np.dot(error * sigmoid_derivative(self.a2), self.W2.T)
        dW1 = np.dot(X.T, error_hidden * sigmoid_derivative(self.a1))
        dW1 = np.clip(dW1, -clip_value, clip_value)

        # 学习率衰减
        decayed_lr = learning_rate * (1. / (1. + 0.01 * epoch))

        # 更新权重
        self.W2 -= decayed_lr * dW2
        self.W1 -= decayed_lr * dW1

我们在 MNIST 数据集上测试不同学习率的表现：