BP神经网络正反向传播流程图解与实战：从数学推导到Python实现

1次阅读

共计 1588 个字符，预计需要花费 4 分钟才能阅读完成。

BP 神经网络作为深度学习的基础结构，其核心价值在于通过误差反向传播机制自动调整网络参数，实现了从数据中学习特征表示的能力。本文将用三明治式教学法（图解 + 推导 + 代码）带你彻底吃透这个经典算法。

前向传播的矩阵形式表达式为：

$$
\mathbf{Z}^{[l]} = \mathbf{W}^{[l]}\mathbf{A}^{[l-1]} + \mathbf{b}^{[l]}
$$
$$
\mathbf{A}^{[l]} = g^{[l]}(\mathbf{Z}^{[l]})
$$

其中 $l$ 表示层号，$\mathbf{W}$ 是权重矩阵，$g(\cdot)$ 为激活函数。当处理分类问题时推荐使用交叉熵损失：

$$
L = -\frac{1}{m}\sum_{i=1}^m [y^{(i)}\log(\hat{y}^{(i)})+(1-y^{(i)})\log(1-\hat{y}^{(i)})]
$$

回归任务则适合 MSE 损失。这两种损失函数的梯度特性差异直接影响反向传播效率。

前向传播路径 ：
输入层 → 隐层 1（线性运算 +ReLU）→ 隐层 2 → 输出层（Sigmoid）→ 损失计算
反向传播路径 ：
损失函数 → 输出层梯度（∂L/∂z）→ 隐层 2 权重更新 → 隐层 1 梯度 → 输入层权重更新

以单隐层网络为例，输出层权重的梯度计算：

计算输出误差：$\delta^{[3]} = \hat{y} – y$
隐层梯度：$\delta^{[2]} = (\mathbf{W}^{[3]T}\delta^{[3]}) \odot g'(\mathbf{Z}^{[2]})$
权重更新量：$\frac{\partial L}{\partial \mathbf{W}^{[2]}} = \frac{1}{m}\delta^{[2]}\mathbf{A}^{[1]T}$

import numpy as np

# 权重初始化（He 初始化适合 ReLU）def init_weights(layer_dims):
    params = {}
    for l in range(1, len(layer_dims)):
        params['W'+str(l)] = np.random.randn(layer_dims[l], layer_dims[l-1]) * np.sqrt(2/layer_dims[l-1])
        params['b'+str(l)] = np.zeros((layer_dims[l], 1))
    return params

# ReLU 及其导数
def relu(Z):
    return np.maximum(0, Z)

def relu_backward(dA, Z):
    dZ = np.array(dA, copy=True)
    dZ[Z <= 0] = 0
    return dZ

# 批量梯度下降更新
for l in range(1, L+1):
    params['W'+str(l)] -= learning_rate * grads['dW'+str(l)]
    params['b'+str(l)] -= learning_rate * grads['db'+str(l)]