BP神经网络前馈计算实战：从数学原理到Python实现

1次阅读

共计 1946 个字符，预计需要花费 5 分钟才能阅读完成。

前馈计算是神经网络进行预测的基础步骤，就像大脑处理信息的第一次快速反应。它决定了网络如何将输入数据层层转化为有意义的输出。更重要的是，前馈计算的结果直接影响后续反向传播时误差的分配方式。没有正确的前馈计算，整个训练过程就会像用错误地图导航一样南辕北辙。

假设我们有：
– 输入层 3 个神经元（n=3）
– 隐藏层 4 个神经元（m=4）

那么权重矩阵 W 的维度应该是多少？很多人会搞反顺序。其实记住这个口诀：” 权重矩阵的行数等于目标层的神经元数，列数等于来源层的神经元数 ”。所以这里 W ∈ ℝ^(4×3)，因为我们要把 3 维输入映射到 4 维隐藏层。

数学表达：
$$
\mathbf{h} = \sigma(\mathbf{W}\mathbf{x} + \mathbf{b})
$$
其中 W 的形状保证了矩阵乘法可行：
(4×3) × (3×1) = (4×1)

以 Sigmoid 为例，其导数的美妙之处在于可以用自身表示：
$$
\sigma(z) = \frac{1}{1+e^{-z}} \
\sigma'(z) = \sigma(z)(1-\sigma(z))
$$

在链式法则中，假设上层传回的梯度是 δ，那么经过 Sigmoid 激活的局部梯度就是：
$$
\delta_{local} = \delta \odot \sigma(z) \odot (1-\sigma(z))
$$
其中⊙表示逐元素乘法。这种简洁形式正是 Sigmoid 被早期广泛使用的原因之一。

import numpy as np

def linear_forward(x, W, b):
    """全连接层前向计算"""
    assert W.shape[1] == x.shape[0], \
        f"维度不匹配：权重矩阵列数{W.shape[1]} != 输入维度{x.shape[0]}"
    assert W.shape[0] == b.shape[0], \
        f"偏置维度 {b.shape[0]} 与权重输出维度 {W.shape[0]} 不一致"
    return np.dot(W, x) + b

def sigmoid(z):
    """Sigmoid 激活函数"""
    # 防止数值溢出
    z = np.clip(z, -50, 50)
    return 1 / (1 + np.exp(-z))

class NeuralNetwork:
    def __init__(self, layer_sizes):
        """初始化权重"""
        self.weights = []
        self.biases = []
        for i in range(len(layer_sizes)-1):
            # He 初始化
            W = np.random.randn(layer_sizes[i+1], layer_sizes[i]) * np.sqrt(2./layer_sizes[i])
            b = np.zeros((layer_sizes[i+1], 1))
            self.weights.append(W)
            self.biases.append(b)

    def forward(self, x):
        """前向传播"""
        a = x.reshape(-1, 1)  # 确保是列向量
        for W, b in zip(self.weights, self.biases):
            z = linear_forward(a, W, b)
            a = sigmoid(z)
        return a

最常见的错误是矩阵维度不匹配。当看到这样的报错时：

ValueError: shapes (5,3) and (4,1) not aligned

检查顺序应该是：
1. 确认前一层的输出维度是否等于当前层权重矩阵的列数
2. 确认权重矩阵的行数是否等于当前层的神经元数
3. 所有偏置向量是否都是列向量

当数值太大时，Sigmoid/tanh 会出现饱和现象。解决方案：
1. 使用 np.clip 限制输入范围
2. 对 Softmax 使用 log-sum-exp 技巧：

def stable_softmax(z):
    shift_z = z - np.max(z)
    exps = np.exp(shift_z)
    return exps / np.sum(exps)

当你掌握了基础实现后，可以思考这些问题来进一步提升：
1. 爱因斯坦求和约定 (Einstein Notation) 如何让维度计算更直观？比如np.einsum('ij,jk->ik', A, B)
2. 使用 ReLU 激活函数时，权重矩阵会逐渐变得稀疏，这对内存和计算有何影响？
3. 当批量处理 100 个样本时，如何调整内存布局 (行优先 / 列优先) 来优化缓存命中率？

前馈计算看似简单，但魔鬼都在细节中。理解清楚每个矩阵乘法的物理意义，比盲目堆叠网络层更重要。希望这篇笔记能帮你避开我曾经踩过的坑，顺利搭建起第一个可用的神经网络。

正文完