BP神经网络结构图解析：从数学原理到Python实现

1次阅读

共计 1700 个字符，预计需要花费 5 分钟才能阅读完成。

先来看一个典型的三层 BP 网络结构（输入层 - 隐藏层 - 输出层）：

输入层      隐藏层      输出层
 (x1)─────► (h1)─────► (y1)
    \     /     \     /
     \   /       \   /
      (x2)       (h2)

输入层：2 个神经元（对应二维特征）
隐藏层：2 个神经元（带 Sigmoid 激活）
输出层：1 个神经元（回归任务）

权重矩阵维度关系：

W1: 2×2 矩阵（输入层→隐藏层）
W2: 2×1 矩阵（隐藏层→输出层）

隐藏层输出：
$$h = \sigma(W_1^T X + b_1)$$

最终输出：
$$\hat{y} = \sigma(W_2^T h + b_2)$$

输出层梯度：
$$\frac{\partial L}{\partial W_2} = (\hat{y} – y) \cdot \sigma'(z_2) \cdot h$$
隐藏层梯度（链式法则应用）：
$$\frac{\partial L}{\partial W_1} = \left[(\hat{y}-y) \cdot \sigma'(z_2) \cdot W_2\right] \odot \sigma'(z_1) \cdot X$$

符号说明：$\odot$ 表示逐元素乘法，$\sigma’$ 是 Sigmoid 导数

def sigmoid(x):
    return 1 / (1 + np.exp(-x))

def sigmoid_derivative(x):
    return x * (1 - x)  # 适用于已激活的值

hidden_input = np.dot(X, W1) + b1
hidden_output = sigmoid(hidden_input)

final_input = np.dot(hidden_output, W2) + b2
prediction = sigmoid(final_input)

# 输出层误差
delta_output = (y - prediction) * sigmoid_derivative(prediction)

# 隐藏层误差
delta_hidden = delta_output.dot(W2.T) * sigmoid_derivative(hidden_output)

# 权重更新
W2 += hidden_output.T.dot(delta_output) * lr
W1 += X.T.dot(delta_hidden) * lr

批量训练：每轮 epoch 更新一次权重，收敛稳定但内存占用高
在线训练：每个样本更新权重，收敛快但波动大

推荐折中方案：mini-batch（批量大小 32-256）

$$N_h = \frac{N_i + N_o}{2} + \sqrt{N_{samples}}}$$

其中：
– $N_i$: 输入神经元数
– $N_o$: 输出神经元数

def gradient_check(W, f, epsilon=1e-7):
    grad_approx = (f(W + epsilon) - f(W - epsilon)) / (2 * epsilon)
    return np.linalg.norm(grad_approx - compute_gradient(W))