BP神经网络公式推导与实现：从数学原理到Python实战

1次阅读

没有评论

共计 2160 个字符，预计需要花费 6 分钟才能阅读完成。

BP 神经网络通过模拟人脑神经元连接方式，能够自动学习数据中的复杂非线性模式。在图像识别任务中，它可逐层提取从边缘到高级语义的特征，替代传统手工设计特征的方式。其强大的表达能力使其成为深度学习的基础结构，但理解其数学本质是优化模型的关键。

误差反向传播的核心是链式法则的逐层应用。设损失函数为 $L$，对于第 $l$ 层权重 $W^l$ 的梯度可表示为：

$$\frac{\partial L}{\partial W^l} = \frac{\partial L}{\partial z^{l+1}} \cdot \frac{\partial z^{l+1}}{\partial W^l}$$

其中 $z^{l+1}$ 为下一层的加权输入，这种分解使得我们可以从输出层开始，逐层向前计算梯度。

以 Sigmoid 函数为例，其导数为：

$$\sigma'(z) = \sigma(z)(1-\sigma(z))$$

这会导致深层网络出现梯度消失问题，因为多个小于 1 的导数连续相乘会指数级减小。而 ReLU 函数的导数：

$$ReLU'(z) = \begin{cases}
1 & \text{if} z > 0 \
0 & \text{otherwise}
\end{cases}$$

能有效缓解该问题，但需注意死亡 ReLU 现象。

对于全连接层，权重更新可表示为：

$$W^l \leftarrow W^l – \eta \cdot \delta^{l+1} \cdot (a^l)^T$$

其中 $\eta$ 为学习率，$\delta^{l+1}$ 是下一层的误差项，$a^l$ 是当前层激活输出。这种矩阵运算形式非常适合 GPU 并行加速。

import numpy as np

class NeuralNetwork:
    def __init__(self, input_size, hidden_size, output_size):
        # Xavier 初始化权重
        self.W1 = np.random.randn(input_size, hidden_size) * np.sqrt(1./input_size)
        self.W2 = np.random.randn(hidden_size, output_size) * np.sqrt(1./hidden_size)

    def forward(self, X):
        # 第一层计算（含 Sigmoid 激活）self.z1 = np.dot(X, self.W1)
        self.a1 = 1/(1+np.exp(-self.z1))  # Sigmoid

        # 输出层计算（Softmax 激活）self.z2 = np.dot(self.a1, self.W2)
        exp_scores = np.exp(self.z2)
        self.probs = exp_scores / np.sum(exp_scores, axis=1, keepdims=True)
        return self.probs

    def backward(self, X, y, learning_rate):
        # 输出层误差
        delta3 = self.probs
        delta3[range(len(X)), y] -= 1

        # 隐藏层误差（链式法则）delta2 = np.dot(delta3, self.W2.T) * (self.a1 * (1-self.a1))  # Sigmoid 导数项

        # 权重梯度
        dW2 = np.dot(self.a1.T, delta3)
        dW1 = np.dot(X.T, delta2)

        # 参数更新
        self.W2 -= learning_rate * dW2
        self.W1 -= learning_rate * dW1