BP神经网络公式推导与实现：从数学原理到Python实战

1次阅读

共计 2032 个字符，预计需要花费 6 分钟才能阅读完成。

BP 神经网络通过多层非线性变换解决复杂模式识别问题，在图像分类中可自动学习边缘、纹理等分层特征。相比传统算法，其端到端训练方式避免了手工设计特征工程，而反向传播算法则高效解决了深层网络的参数优化难题。

误差反向传播的核心是链式法则的逐层应用。以三层网络为例，输出层权重梯度可表示为：

$$\frac{\partial E}{\partial W^{(2)}} = \frac{\partial E}{\partial z^{(3)}} \cdot \frac{\partial z^{(3)}}{\partial a^{(2)}} \cdot \frac{\partial a^{(2)}}{\partial W^{(2)}}$$

其中 $z^{(l)}$ 表示第 $l$ 层加权输入，$a^{(l)}$ 为激活输出。

不同激活函数影响梯度流动方式：

Sigmoid：
$$\sigma'(z) = \sigma(z)(1-\sigma(z))$$
当输入绝对值较大时易出现梯度消失
ReLU：
$$f'(z) = \begin{cases}
1 & \text{if} z > 0 \
0 & \text{otherwise}
\end{cases}$$
缓解梯度消失但可能导致神经元 ” 死亡 ”

对于全连接层，权重更新可向量化表示为：

$$\Delta W^{(l)} = -\eta \cdot \delta^{(l+1)} \cdot (a^{(l)})^T$$

其中 $\delta^{(l)}$ 是第 $l$ 层的误差项，$\eta$ 为学习率。

import numpy as np

class ThreeLayerNet:
    def __init__(self, input_size, hidden_size, output_size):
        # Xavier 初始化
        self.W1 = np.random.randn(input_size, hidden_size) / np.sqrt(input_size)
        self.b1 = np.zeros(hidden_size)
        self.W2 = np.random.randn(hidden_size, output_size) / np.sqrt(hidden_size)
        self.b2 = np.zeros(output_size)

    def sigmoid(self, z):
        return 1 / (1 + np.exp(-z))

    def forward(self, x):
        # 前向传播向量化计算
        self.z1 = np.dot(x, self.W1) + self.b1  # 隐含层加权输入
        self.a1 = self.sigmoid(self.z1)         # 隐含层激活输出
        self.z2 = np.dot(self.a1, self.W2) + self.b2
        return np.exp(self.z2) / np.sum(np.exp(self.z2), axis=1, keepdims=True)  # softmax

    def backward(self, x, y, lr=0.01):
        # 反向传播计算梯度
        m = x.shape[0]  # batch 大小

        # 输出层误差
        delta2 = self.probs - y  # 交叉熵损失下的梯度
        dW2 = np.dot(self.a1.T, delta2) / m
        db2 = np.sum(delta2, axis=0) / m

        # 隐含层误差（考虑 sigmoid 导数）delta1 = np.dot(delta2, self.W2.T) * (self.a1 * (1 - self.a1))
        dW1 = np.dot(x.T, delta1) / m
        db1 = np.sum(delta1, axis=0) / m

        # 更新参数
        self.W1 -= lr * dW1
        self.b1 -= lr * db1
        self.W2 -= lr * dW2
        self.b2 -= lr * db2

当梯度值超过 1e3 时可能出现爆炸：