深入解析BP算法反向传播：从数学原理到代码实现

1次阅读

共计 2028 个字符，预计需要花费 6 分钟才能阅读完成。

反向传播（Backpropagation，BP）算法是深度学习中最核心的优化方法之一，几乎所有神经网络的训练都依赖于它。然而，许多开发者虽然能够熟练调用 TensorFlow 或 PyTorch 等框架的 API，但对 BP 算法的底层原理却一知半解。这种“黑箱”使用方式往往导致模型训练时遇到梯度消失、爆炸或收敛缓慢等问题时无从下手。

常见误区 ：
过度依赖框架的自动求导功能，忽略手动实现的价值
不理解权重初始化和学习率调整对梯度传播的影响
对激活函数的选择缺乏理论依据（如盲目使用 ReLU）

BP 算法的本质是链式法则（Chain Rule）的递归应用。假设神经网络的损失函数为 $L$，对于第 $l$ 层的权重 $W^l$，其梯度计算为：

$$ \frac{\partial L}{\partial W^l} = \frac{\partial L}{\partial z^{l+1}} \cdot \frac{\partial z^{l+1}}{\partial W^l} $$

其中 $z^l$ 表示第 $l$ 层的线性输出。这个公式揭示了梯度如何从输出层逐层反向传播。

激活函数对比 ：
Sigmoid：$\sigma'(x) = \sigma(x)(1-\sigma(x))$，容易导致梯度消失
ReLU：$\text{ReLU}'(x) = \begin{cases} 1 & x>0 \ 0 & \text{otherwise} \end{cases}$，缓解梯度消失但可能引发神经元“死亡”

以下是一个用 NumPy 实现的双层全连接网络，包含完整的前向传播和反向传播流程：

import numpy as np

class TwoLayerNet:
    def __init__(self, input_size, hidden_size, output_size):
        self.W1 = np.random.randn(input_size, hidden_size) * 0.01
        self.b1 = np.zeros(hidden_size)
        self.W2 = np.random.randn(hidden_size, output_size) * 0.01
        self.b2 = np.zeros(output_size)

    def forward(self, X):
        self.z1 = np.dot(X, self.W1) + self.b1
        self.a1 = np.tanh(self.z1)  # 使用 tanh 激活函数
        self.z2 = np.dot(self.a1, self.W2) + self.b2
        exp_scores = np.exp(self.z2)
        self.probs = exp_scores / np.sum(exp_scores, axis=1, keepdims=True)
        return self.probs

    def backward(self, X, y, learning_rate):
        delta3 = self.probs
        delta3[range(len(X)), y] -= 1  # 交叉熵损失梯度
        dW2 = np.dot(self.a1.T, delta3)
        db2 = np.sum(delta3, axis=0)

        delta2 = np.dot(delta3, self.W2.T) * (1 - np.power(self.a1, 2))  # tanh 导数
        dW1 = np.dot(X.T, delta2)
        db1 = np.sum(delta2, axis=0)

        # 权重更新（带学习率衰减）self.W2 -= learning_rate * dW2
        self.b2 -= learning_rate * db2
        self.W1 -= learning_rate * dW1
        self.b1 -= learning_rate * db1

梯度检查 ：通过数值梯度验证反向传播的正确性

def grad_check(f, x, eps=1e-7):
    grad_numerical = (f(x + eps) - f(x - eps)) / (2 * eps)
    grad_analytic = f(x)  # 假设 f 返回解析梯度
    return np.abs(grad_numerical - grad_analytic) < 1e-6

优化器对比 ：
SGD：简单但容易陷入局部最优
Adam：自适应学习率，适合稀疏梯度

梯度消失 / 爆炸 ：
现象：训练早期 loss 不下降或出现 NaN
解决：使用 Xavier 初始化、梯度裁剪（Gradient Clipping）

批量归一化 ：

def batchnorm_forward(x, gamma, beta):
    mu = np.mean(x, axis=0)
    var = np.var(x, axis=0)
    x_hat = (x - mu) / np.sqrt(var + 1e-8)
    out = gamma * x_hat + beta
    return out