深入解析BP神经网络正反向传播流程图：从数学原理到代码实现

1次阅读

共计 1252 个字符，预计需要花费 4 分钟才能阅读完成。

BP 神经网络是深度学习的基础模型，理解其正反向传播机制对掌握更复杂网络至关重要。本文将通过可视化流程图和代码实现，带你彻底搞懂权重更新的数学原理。

 输入层 (X) → 隐层 (H) → 输出层 (Y)
[n×3]    [3×4]    [4×2]

输入矩阵 $X_{n×3}$ 与权重 $W1_{3×4}$ 相乘得到隐层输入 $Z1_{n×4}$
经过 Sigmoid 激活：$H_{n×4} = \sigma(Z1_{n×4})$
隐层输出与 $W2_{4×2}$ 相乘得预测值 $\hat{Y}_{n×2}$

graph LR
    δ2[输出层误差 δ2] -->|×W2.T| δ1[隐层误差 δ1]
    δ1 -->|⊙σ'(Z1)| ∇W1[权重梯度∇W1]

计算输出误差 $δ2 = (\hat{Y}-Y) ⊙ \sigma'(Z2)$
反向传播隐层误差 $δ1 = (δ2·W2^T) ⊙ \sigma'(Z1)$
梯度计算：$∇W2 = H^T·δ2$, $∇W1 = X^T·δ1$

# 正向传播
Z1 = np.dot(X, W1)
H = 1/(1+np.exp(-Z1))
Y_hat = np.dot(H, W2)

# 反向传播
delta2 = (Y_hat - Y) * (Y_hat*(1-Y_hat))
delta1 = np.dot(delta2, W2.T) * (H*(1-H))

grad_W2 = np.dot(H.T, delta2)
grad_W1 = np.dot(X.T, delta1)

Sigmoid 导数 $\sigma'(z)=\sigma(z)(1-\sigma(z))$ 最大值为 0.25
多层网络会出现 $0.25^L$ 的指数级梯度衰减
解决方案：改用 ReLU 激活或残差连接

批量大小与学习率的关系：
大 batch 需调大学习率（推荐线性缩放规则）
小 batch 适合更保守的学习率
实用技巧：
初始学习率设为 0.01~0.1
配合学习率衰减（如 cosine schedule）

# 高层 API 封装
model = Sequential([Dense(4, activation='sigmoid', input_dim=3),
    Dense(2, activation='softmax')
])
model.compile(optimizer=SGD(lr=0.1), loss='mse')
model.fit(X, Y, batch_size=32)