BP神经网络前馈计算实战：从数学推导到Python实现

1次阅读

没有评论

共计 1455 个字符，预计需要花费 4 分钟才能阅读完成。

每次看到神经网络像黑箱一样处理数据时，我都会想起第一次被矩阵维度支配的恐惧。实际上，前馈计算就是神经网络处理信息的核心流程——数据从输入层开始，通过层层加权和激活函数的加工，最终得到输出结果。对初学者来说，最容易在以下两个环节卡壳：

搞不清权重矩阵的维度关系，导致矩阵乘法报错
激活函数应用时忽略了向量化操作的重要性

今天我们就用一个具体的 3 层网络例子（2-3- 1 结构），手把手拆解这个看似神秘的过程。

假设我们有个玩具神经网络：

输入层：2 个节点（$x_1, x_2$）
隐藏层：3 个节点（使用 Sigmoid 激活）
输出层：1 个节点（使用 Sigmoid 激活）

这里最容易出错的就是权重矩阵的维度记忆诀窍：

Note 权重矩阵 $W$ 的维度永远是（下一层节点数 × 当前层节点数）

因此：

$W1$：输入层→隐藏层，维度 3×2
$W2$：隐藏层→输出层，维度 1×3

输入层→隐藏层
加权求和：$z_1 = W1 \cdot X + b1$（$X$ 是 2×1 输入向量）
激活输出：$a_1 = \sigma(z_1)$
隐藏层→输出层
加权求和：$z_2 = W2 \cdot a_1 + b2$
最终输出：$a_2 = \sigma(z_2)$

import numpy as np

# 网络参数初始化
W1 = np.random.randn(3, 2)  # DEBUG: 注意维度是下一层×当前层
b1 = np.zeros((3, 1))
W2 = np.random.randn(1, 3)
b2 = np.zeros((1, 1))

def sigmoid(x):
    # 数值稳定版实现
    return 1 / (1 + np.exp(-np.clip(x, -500, 500)))

# 前馈计算函数
def forward(X):
    # 第一层计算
    z1 = np.dot(W1, X) + b1  # DEBUG: 3×2 dot 2×1 = 3×1
    a1 = sigmoid(z1)

    # 第二层计算
    z2 = np.dot(W2, a1) + b2  # DEBUG: 1×3 dot 3×1 = 1×1
    a2 = sigmoid(z2)

    return a2

# 测试样例
X_sample = np.array([[0.5], [-0.8]])
print("神经网络输出:", forward(X_sample))

维度灾难
报错 ValueError: shapes (3,2) and (3,1) not aligned 时，说明把 $W \cdot X$ 写成了 $X \cdot W$
记住：前馈计算永远是权重矩阵左乘输入向量
激活函数陷阱
Sigmoid 输出值应保持在 (0,1) 区间，但直接写 1/(1+exp(-x)) 会导致：
- 数值溢出（x 过大时 exp(-x)趋近 0）
- 数值下溢（x 过小时 exp(-x)趋近∞）

批量处理技巧
当输入 $X$ 是 2×N 的矩阵时（N 个样本）：

# 只需保证 bias 的列数与 X 一致
z1 = np.dot(W1, X) + np.tile(b1, (1, X.shape[1]))

改用 ReLU 激活
只需修改激活函数：
```
def relu(x):
    return np.maximum(0, x)
```
注意：输出层若需概率输出，最后一层仍需保留 Sigmoid
并行计算优化
当处理 MNIST 等数据集时，建议：
保持输入矩阵为 784×N（N 是 batch_size）
所有中间结果自动广播为对应维度

经过这次实践，我发现神经网络的前馈计算就像精心设计的流水线——每个环节的维度必须严丝合缝。下次遇到维度报错时，不妨拿出纸笔画出矩阵形状，问题往往迎刃而解。

正文完