BP神经网络误差反向传播实战：从数学推导到Python实现

1次阅读

共计 2137 个字符，预计需要花费 6 分钟才能阅读完成。

BP 神经网络是深度学习的基础模型，误差反向传播算法是其训练的核心。它通过链式法则高效计算梯度，使得多层网络的参数优化成为可能。理解反向传播的数学本质，是掌握深度学习模型调优的关键。

梯度消失问题 ：当使用 Sigmoid 激活函数时，深层网络的梯度会指数级衰减，导致底层参数几乎不更新。表现为训练后期 loss 几乎不变，但模型准确率仍很低。
饱和神经元识别 ：当激活值接近函数边界（如 Sigmoid 输出 0 或 1 时），其导数趋近于 0，这些神经元会停止学习。可通过监控各层激活值的统计分布来识别。
学习率敏感性 ：固定学习率会导致震荡（过大）或收敛过慢（过小）。典型表现是 loss 曲线出现锯齿状波动或长时间平台期。

输出层误差项：
$$ \delta^L = \nabla_a C \odot \sigma'(z^L) $$
隐藏层误差传播：
$$ \delta^l = ((w^{l+1})^T \delta^{l+1}) \odot \sigma'(z^l) $$
权重梯度：
$$ \frac{\partial C}{\partial w^l} = \delta^l (a^{l-1})^T $$

Sigmoid：$\sigma’ = \sigma(1-\sigma)$，易导致梯度消失
Tanh：$tanh’ = 1-tanh^2$，梯度范围 (0,1)，略优于 Sigmoid
ReLU：$ReLU’ = 1\ if\ x>0\ else\ 0$，缓解梯度消失但可能产生死亡神经元

采用指数衰减：$\eta_t = \eta_0 e^{-kt}$，其收敛性可通过二次近似证明：
$$ \mathbb{E}[|w_{t+1}-w^|^2] \leq (1-2\eta_t \mu)\mathbb{E}[|w_t-w^|^2] + \eta_t^2 M $$
当 $\sum \eta_t = \infty$ 且 $\sum \eta_t^2 < \infty$ 时保证收敛。

import numpy as np

class BPNetwork:
    def __init__(self, layer_sizes):
        # He 初始化
        self.weights = [np.random.randn(y, x)*np.sqrt(2/x) 
                        for x,y in zip(layer_sizes[:-1], layer_sizes[1:])]
        self.biases = [np.zeros((y,1)) for y in layer_sizes[1:]]

    def forward(self, x):
        # 向量化实现前向传播
        a = x.T  # 转置为列向量
        for w, b in zip(self.weights, self.biases):
            z = np.dot(w, a) + b
            a = np.maximum(0, z)  # ReLU
        return a

    def backward(self, x, y):
        # 反向传播
        grad_w = [np.zeros_like(w) for w in self.weights]
        grad_b = [np.zeros_like(b) for b in self.biases]

        # 前向计算并保存中间结果
        activation = x.T
        activations = [activation]
        zs = []
        for w, b in zip(self.weights, self.biases):
            z = np.dot(w, activation) + b
            zs.append(z)
            activation = np.maximum(0, z)
            activations.append(activation)

        # 输出层误差
        delta = (activations[-1] - y.T) * (zs[-1] > 0)  # ReLU 导数
        grad_b[-1] = np.sum(delta, axis=1, keepdims=True)
        grad_w[-1] = np.dot(delta, activations[-2].T)

        # 隐藏层误差传播
        for l in range(2, len(self.weights)+1):
            delta = np.dot(self.weights[-l+1].T, delta) * (zs[-l] > 0)
            grad_b[-l] = np.sum(delta, axis=1, keepdims=True)
            grad_w[-l] = np.dot(delta, activations[-l-1].T)

        return grad_w, grad_b

权重初始化 ：使用 He 初始化（ReLU 系）或 Xavier 初始化（Sigmoid 系），标准差设为 $\sqrt{2/n_{in}}$。
梯度裁剪 ：当梯度 L2 范数超过阈值 $\tau$ 时：
$$ g \leftarrow g \cdot \frac{\tau}{|g|_2} $$
经验阈值通常取 1~5。
早停策略 ：监控验证集准确率，当连续 $k$ 个 epoch（通常 5 -10）未提升时终止训练。

动量法可通过在参数更新时引入历史梯度方向来加速收敛：
$$ v_{t+1} = \gamma v_t + \eta \nabla_\theta J(\theta) $$
$$ \theta_{t+1} = \theta_t – v_{t+1} $$
如何修改现有代码实现？
批量归一化将激活值标准化为 $N(0,1)$ 分布，这会如何改变误差在层间的传播特性？

正文完