BP神经网络正反向传播流程图解与实战：从数学推导到Python实现

1次阅读

共计 1792 个字符，预计需要花费 5 分钟才能阅读完成。

BP 神经网络是深度学习的基础架构，理解其正反向传播机制相当于掌握了神经网络的 ” 心脏跳动原理 ”。本文将用图解 + 推导 + 代码的方式，带新手拆解这个黑箱。

神经网络的前向传播本质是矩阵连乘 + 非线性变换。对于一个含单隐层的网络：

$$
\begin{aligned}
Z^{[1]} &= W^{[1]}X + b^{[1]} \
A^{[1]} &= \sigma(Z^{[1]}) \
Z^{[2]} &= W^{[2]}A^{[1]} + b^{[2]} \
A^{[2]} &= \text{softmax}(Z^{[2]})
\end{aligned}
$$

其中 $\sigma$ 通常选用 ReLU 或 sigmoid 激活函数。

分类任务：交叉熵损失（Cross-Entropy）
$$
L = -\frac{1}{m}\sum_{i=1}^m y_i\log(\hat{y}_i)
$$
回归任务：均方误差（MSE）
$$
L = \frac{1}{2m}\sum_{i=1}^m (\hat{y}_i – y_i)^2
$$

输入层 → (线性变换 +ReLU) → 隐层 → (线性变换 +softmax) → 输出层
   ↑                             ↑                             ↑
   |                             |                             |
权重初始化                  反向传播误差                 计算梯度

输出层梯度：
$$
\frac{\partial L}{\partial Z^{[2]}} = A^{[2]} – Y
$$
隐层权重梯度：
$$
\frac{\partial L}{\partial W^{[2]}} = \frac{1}{m} A^{[1]T}(A^{[2]} – Y)
$$
隐层激活梯度：
$$
\frac{\partial L}{\partial A^{[1]}} = W^{[2]T}(A^{[2]} – Y)
$$
输入层权重梯度：
$$
\frac{\partial L}{\partial W^{[1]}} = \frac{1}{m} X^T (\frac{\partial L}{\partial A^{[1]}} \odot \sigma'(Z^{[1]}))
$$

import numpy as np

# 初始化权重（He 初始化）def init_weights(layer_dims):
    params = {}
    for l in range(1, len(layer_dims)):
        params['W'+str(l)] = np.random.randn(layer_dims[l], layer_dims[l-1]) * np.sqrt(2/layer_dims[l-1])
        params['b'+str(l)] = np.zeros((layer_dims[l], 1))
    return params

# ReLU 及其导数
relu = lambda z: np.maximum(0, z)
relu_deriv = lambda z: (z > 0).astype(float)

# 批量梯度下降
for epoch in range(epochs):
    # 前向传播
    Z1 = W1.dot(X) + b1
    A1 = relu(Z1)
    Z2 = W2.dot(A1) + b2
    A2 = softmax(Z2)

    # 反向传播
    dZ2 = A2 - Y
    dW2 = (1/m) * A1.dot(dZ2.T)
    db2 = (1/m) * np.sum(dZ2, axis=1, keepdims=True)

    dA1 = W2.T.dot(dZ2)
    dZ1 = dA1 * relu_deriv(Z1)
    dW1 = (1/m) * X.dot(dZ1.T)
    db1 = (1/m) * np.sum(dZ1, axis=1, keepdims=True)

    # 参数更新
    W1 -= learning_rate * dW1
    b1 -= learning_rate * db1