深入解析BP神经网络的误差反向传播：从数学原理到实现细节

1次阅读

共计 1656 个字符，预计需要花费 5 分钟才能阅读完成。

BP 神经网络是深度学习的基础架构之一，误差反向传播算法是其训练过程的核心引擎。通过链式求导实现梯度计算，它解决了多层网络参数更新的关键问题。无论是传统图像识别还是现代大语言模型，都依赖这一算法的变体进行优化。

设神经网络损失函数为 $L$，对于输出层权重 $W^{[2]}$ 的梯度：

$$
\frac{\partial L}{\partial W^{[2]}} = \frac{\partial L}{\partial z^{[2]}} \cdot \frac{\partial z^{[2]}}{\partial W^{[2]}} = (a^{[2]} – y) \cdot a^{[1]T}
$$

隐藏层权重 $W^{[1]}$ 的梯度需继续反向传播：

$$
\frac{\partial L}{\partial W^{[1]}} = \frac{\partial L}{\partial z^{[2]}} \cdot \frac{\partial z^{[2]}}{\partial a^{[1]}} \cdot \frac{\partial a^{[1]}}{\partial z^{[1]}} \cdot \frac{\partial z^{[1]}}{\partial W^{[1]}}
$$

graph LR
    A[输入数据] --> B[前向传播]
    B --> C[计算损失]
    C --> D[反向传播梯度]
    D --> E[参数更新]
    E --> A

# 单样本梯度计算示例
def backward_prop_single(x, y, params):
    W1, b1, W2, b2 = params
    # 前向计算
    z1 = np.dot(W1, x) + b1
    a1 = relu(z1)
    z2 = np.dot(W2, a1) + b2
    a2 = sigmoid(z2)

    # 反向传播
    dz2 = a2 - y
    dW2 = np.dot(dz2, a1.T)
    dz1 = np.dot(W2.T, dz2) * relu_derivative(z1)
    dW1 = np.dot(dz1, x.T)

    return dW1, db1, dW2, db2

# 矩阵维度说明：# X: (n_features, batch_size)
# W1: (n_hidden, n_features)
def backward_prop_batch(X, Y, params):
    # 前向计算（矩阵运算）Z1 = np.dot(W1, X) + b1
    A1 = relu(Z1)
    Z2 = np.dot(W2, A1) + b2
    A2 = sigmoid(Z2)

    # 反向传播（矩阵求导）dZ2 = A2 - Y
    dW2 = np.dot(dZ2, A1.T) / m  # m 为 batch 大小
    dZ1 = np.dot(W2.T, dZ2) * relu_derivative(Z1)
    dW1 = np.dot(dZ1, X.T) / m

    return grads