BP神经网络链式法则反向传播计算过程详解：从数学原理到Python实现

1次阅读

共计 1959 个字符，预计需要花费 5 分钟才能阅读完成。

神经网络的核心是通过调整权重参数来最小化预测误差。前向传播计算预测值，而反向传播（Backpropagation, BP）则是通过计算损失函数对权重的梯度，指导参数更新。反向传播之所以高效，关键在于它利用了链式法则（Chain Rule），避免了重复计算中间结果的梯度。

链式法则将复杂函数的导数分解为多个简单函数导数的乘积。在神经网络中，每一层的梯度可以表示为后一层梯度的乘积，这使得计算可以逐层反向进行。

输入数据通过权重矩阵和激活函数逐层传递
计算每一层的线性组合和激活输出
最终输出与真实值比较，计算损失函数（如均方误差）

数学表示为：

$$
\begin{aligned}
z^{(l)} &= W^{(l)}a^{(l-1)} + b^{(l)} \
a^{(l)} &= \sigma(z^{(l)}) \
\end{aligned}
$$

计算输出层误差：
$$
\delta^{(L)} = \frac{\partial J}{\partial a^{(L)}} \odot \sigma'(z^{(L)})
$$
反向传播误差到隐藏层：
$$
\delta^{(l)} = ((W^{(l+1)})^T \delta^{(l+1)}) \odot \sigma'(z^{(l)})
$$
计算参数梯度：
$$
\frac{\partial J}{\partial W^{(l)}} = \delta^{(l)} (a^{(l-1)})^T
$$

import numpy as np

class NeuralNetwork:
    def __init__(self, layer_sizes):
        # 初始化权重和偏置
        self.weights = [np.random.randn(y, x) * 0.1 
                        for x, y in zip(layer_sizes[:-1], layer_sizes[1:])]
        self.biases = [np.zeros((y, 1)) for y in layer_sizes[1:]]

    def sigmoid(self, z):
        return 1 / (1 + np.exp(-z))

    def sigmoid_prime(self, z):
        return self.sigmoid(z) * (1 - self.sigmoid(z))

    def forward(self, x):
        # 前向传播
        a = x
        activations = [x]
        zs = []
        for w, b in zip(self.weights, self.biases):
            z = np.dot(w, a) + b
            zs.append(z)
            a = self.sigmoid(z)
            activations.append(a)
        return activations, zs

    def backward(self, x, y):
        # 反向传播
        activations, zs = self.forward(x)

        # 输出层误差
        delta = (activations[-1] - y) * self.sigmoid_prime(zs[-1])

        # 保存梯度
        nabla_w = [np.zeros(w.shape) for w in self.weights]
        nabla_b = [np.zeros(b.shape) for b in self.biases]

        nabla_w[-1] = np.dot(delta, activations[-2].T)
        nabla_b[-1] = delta

        # 反向传播误差
        for l in range(2, len(self.weights)+1):
            z = zs[-l]
            sp = self.sigmoid_prime(z)
            delta = np.dot(self.weights[-l+1].T, delta) * sp
            nabla_w[-l] = np.dot(delta, activations[-l-1].T)
            nabla_b[-l] = delta

        return nabla_w, nabla_b

当使用 sigmoid 等激活函数时，其导数最大值为 0.25，多层连乘会导致梯度指数级减小。解决方案：