BP神经网络代码实战：从数学推导到Python实现的关键细节

1次阅读

共计 2031 个字符，预计需要花费 6 分钟才能阅读完成。

BP 神经网络作为深度学习的基础结构，在图像识别、语音处理等领域展现出强大的特征提取能力。它能自动学习数据中的分层特征表示，通过多层非线性变换实现复杂函数逼近。相比传统机器学习方法，BP 网络尤其擅长处理高维、非结构化的原始数据。

梯度消失问题 ：在深层网络中，使用 Sigmoid 激活函数时，其导数最大值为 0.25，多层连乘后梯度呈指数级衰减。这导致底层网络参数几乎无法更新，表现为训练早期准确率停滞。
超参数敏感性 ：学习率选择不当会导致震荡（过大）或收敛过慢（过小），而隐层节点数需要平衡欠拟合与过拟合。实验表明，学习率相差 5 倍可能使训练轮数相差 10 倍以上。
训练耗时严重 ：全连接层的计算复杂度随层数呈几何增长，在 MNIST 数据集上，单次 epoch 可能需要 30 秒（CPU）。当数据量达到百万级时，训练时间可能超过 24 小时。

定义损失函数 $L$ 对权重 $w_{ij}^{(l)}$ 的梯度：

$$
\frac{\partial L}{\partial w_{ij}^{(l)}} = \underbrace{\frac{\partial L}{\partial z_j^{(l+1)}}}{\delta_j^{(l+1)}} \cdot \underbrace{\frac{\partial z_j^{(l+1)}}{\partial w
$$}^{(l)}}}_{a_i^{(l)}} = \delta_j^{(l+1)} a_i^{(l)

其中 $z_j^{(l)}$ 表示第 $l$ 层第 $j$ 个神经元的加权输入，$a_i^{(l)}$ 为激活值。通过链式法则，误差项 $\delta$ 可反向传播：

$$
\delta_j^{(l)} = \left(\sum_k w_{jk}^{(l)} \delta_k^{(l+1)} \right) \cdot f'(z_j^{(l)})
$$

函数类型	公式	梯度范围	优缺点
Sigmoid	$\frac{1}{1+e^{-x}}$	(0, 0.25]	易饱和，导致梯度消失
ReLU	$max(0,x)$	{0,1}	缓解梯度消失，可能神经元死亡

class DenseLayer:
    def __init__(self, n_input, n_output, activation='relu'):
        # Xavier 初始化
        self.W = np.random.randn(n_input, n_output) * np.sqrt(2/(n_input+n_output))
        self.b = np.zeros((1, n_output))
        self.activation = activation

    def forward(self, X):
        self.z = np.dot(X, self.W) + self.b
        self.a = self._activate(self.z)
        return self.a

    def _activate(self, z):
        if self.activation == 'relu':
            return np.maximum(0, z)
        elif self.activation == 'sigmoid':
            return 1/(1+np.exp(-z))

class NeuralNetwork:
    def __init__(self, layers):
        self.layers = layers

    def train(self, X, y, epochs=100, lr=0.01, batch_size=32):
        n_samples = X.shape[0]
        for epoch in tqdm(range(epochs)):
            # 动态学习率衰减
            curr_lr = lr * (0.95 ** epoch)
            for i in range(0, n_samples, batch_size):
                # 正向传播
                a = X[i:i+batch_size]
                for layer in self.layers:
                    a = layer.forward(a)

                # 反向传播实现...

            # Early stopping 检查
            if val_loss > prev_loss * 1.1:
                break

学习率动态调整 ：采用指数衰减策略，初始值设为 0.1，每轮衰减 5%。可视化显示前 20 轮学习率从 0.1 降至 0.035。
Xavier 初始化 ：根据输入输出维度动态调整初始权重范围，保证各层激活值的方差一致。实验表明，这比随机初始化快 3 倍收敛。
Batch Normalization：在激活函数前插入 BN 层，对每批数据做标准化。代码中需维护 running_mean 和 running_var 两个统计量。