BP神经网络误差反向传播实战：从数学推导到Python实现

1次阅读

没有评论

共计 2256 个字符，预计需要花费 6 分钟才能阅读完成。

BP 神经网络是深度学习的基础模型，误差反向传播算法是其训练的核心。通过链式法则逐层更新权重，使网络具备拟合非线性关系的能力。相比传统机器学习，这种端到端的自动微分机制大幅降低了特征工程的复杂度。

当使用 Sigmoid 激活函数时，其导数最大值为 0.25（在 x = 0 处），经过多层连乘后梯度呈指数级衰减。表现为深层网络权重几乎不更新，模型收敛停滞。

可通过监测激活值分布判断：

Sigmoid 输出 >0.9 或 <0.1
Tanh 输出 >0.8 或 <-0.8
ReLU 长期输出 0

震荡现象：损失函数值在最优值附近大幅度波动
收敛缓慢：每次参数更新步长过小
发散风险：步长过大导致越过最优解

对于输出层神经元 $k$，误差项计算为：
$$\delta_k = (y_k – \hat{y}_k)f'(z_k)$$

隐藏层神经元 $h$ 的误差传播：
$$\delta_h = f'(z_h)\sum_{k\in\text{output}} w_{hk}\delta_k$$

权重更新量（含学习率 $\eta$）：
$$\Delta w_{ij} = -\eta \delta_j x_i$$

函数类型	表达式	导数特性	适用场景
Sigmoid	$1/(1+e^{-x})$	最大 0.25，易饱和	二分类输出层
Tanh	$(e^x-e^{-x})/(e^x+e^{-x})$	最大 1，仍存在饱和区	RNN 隐藏层
ReLU	$max(0,x)$	正区间恒为 1，负区间为 0	CNN/ 深度前馈网络

采用指数衰减策略：$\eta_t = \eta_0 \cdot e^{-kt}$，其中衰减系数 $k$ 满足：
$$\sum_{t=1}^\infty \eta_t = \frac{\eta_0}{1-e^{-k}} < \infty$$
符合随机近似理论收敛条件。

import numpy as np

class ThreeLayerBP:
    def __init__(self, input_size, hidden_size, output_size):
        # 采用 He 初始化（适应 ReLU）self.W1 = np.random.randn(input_size, hidden_size) * np.sqrt(2./input_size)
        self.b1 = np.zeros(hidden_size)
        self.W2 = np.random.randn(hidden_size, output_size) * np.sqrt(2./hidden_size)
        self.b2 = np.zeros(output_size)

    def relu(self, x):
        return np.maximum(0, x)

    def relu_deriv(self, x):
        return (x > 0).astype(float)

    def forward(self, X):
        # 向量化前向传播
        self.z1 = np.dot(X, self.W1) + self.b1
        self.a1 = self.relu(self.z1)
        self.z2 = np.dot(self.a1, self.W2) + self.b2
        return np.exp(self.z2) / np.sum(np.exp(self.z2), axis=1, keepdims=True)

    def backward(self, X, y, lr=0.01):
        m = X.shape[0]  # 批量大小

        # 反向传播（含梯度裁剪）delta2 = (self.forward(X) - y) / m  # softmax 交叉熵梯度
        dW2 = np.dot(self.a1.T, delta2)
        db2 = np.sum(delta2, axis=0)

        delta1 = np.dot(delta2, self.W2.T) * self.relu_deriv(self.z1)
        delta1 = np.clip(delta1, -5, 5)  # 梯度裁剪
        dW1 = np.dot(X.T, delta1)
        db1 = np.sum(delta1, axis=0)

        # 参数更新
        self.W2 -= lr * dW2
        self.b2 -= lr * db2
        self.W1 -= lr * dW1
        self.b1 -= lr * db1