BP神经网络前向计算与误差反向传播机制图解：从数学原理到Python实现

1次阅读

没有评论

共计 1341 个字符，预计需要花费 4 分钟才能阅读完成。

BP 神经网络是深度学习的基础构件，理解它的前向计算和误差反向传播机制是掌握现代神经网络的关键。本文将通过图解和代码实现，带你一步步理解这个核心过程。

前向计算是神经网络从输入到输出的传播过程。以一个简单的单隐藏层网络为例，输入 $x$ 经过权重矩阵 $W$ 和偏置 $b$ 的线性变换，再通过激活函数 $\sigma$ 得到输出：

$$
z = Wx + b \
a = \sigma(z)
$$

这里需要注意矩阵维度：（假设输入维度为 $n$, 隐藏层维度为 $m$）

$W$ 的形状是 $m \times n$
$x$ 的形状是 $n \times 1$
$b$ 的形状是 $m \times 1$
$z$ 和 $a$ 的形状都是 $m \times 1$

可视化计算图中，我们可以清晰地看到数据从输入层流向输出层的过程。

反向传播是通过链式法则计算损失函数对各个参数的梯度。以均方误差损失 $L$ 为例：

$$
\frac{\partial L}{\partial W} = \frac{\partial L}{\partial a} \cdot \frac{\partial a}{\partial z} \cdot \frac{\partial z}{\partial W}
$$

在计算图中：

红色箭头表示 $\frac{\partial L}{\partial a}$ 的传播
蓝色箭头表示激活函数导数 $\frac{\partial a}{\partial z}$
绿色箭头表示 $\frac{\partial z}{\partial W}$（实际上就是输入 $x$）

这种颜色标注的方式可以直观地展示梯度是如何通过网络反向流动的。

有了梯度后，权重更新就很简单了。以下是 Python 实现：

import numpy as np

# 前向计算
def forward(x, W, b):
    z = np.dot(W, x) + b
    a = 1/(1+np.exp(-z))  # Sigmoid 激活
    return a

# 反向传播
def backward(x, y, a, W, b, learning_rate=0.01):
    # 计算梯度
    dz = a - y  # 对于 Sigmoid 和交叉熵损失的特殊简化
    dW = np.dot(dz, x.T)
    db = dz

    # 梯度裁剪
    clip_value = 1.0
    dW = np.clip(dW, -clip_value, clip_value)
    db = np.clip(db, -clip_value, clip_value)

    # 更新参数
    W -= learning_rate * dW
    b -= learning_rate * db
    return W, b