反向传播算法原理解析：从数学推导到代码实现

1次阅读

共计 2014 个字符，预计需要花费 6 分钟才能阅读完成。

在神经网络训练中，我们需要调整数百万甚至数十亿的参数（weights）来最小化损失函数。手动计算每个参数的梯度是不现实的，这就是反向传播（Backpropagation）的价值所在——它通过链式法则（Chain Rule）高效计算所有参数的梯度。

举个例子，一个 3 层神经网络有：

输入层（Input Layer）
隐藏层（Hidden Layer）
输出层（Output Layer）

假设我们用均方误差（MSE）作为损失函数，我们需要知道每个权重（如 $W_{ij}^{(2)}$）如何影响最终的损失值。反向传播通过从输出层向输入层逐层传播误差信号，避免了重复计算。

核心公式是损失函数 $L$ 对权重 $W$ 的偏导数计算：

$$\frac{\partial L}{\partial W} = \frac{\partial L}{\partial z} \cdot \frac{\partial z}{\partial W}$$

其中 $z$ 是该层的加权输入。对于多层网络，链式法则会逐层展开。例如在输出层：

$$\frac{\partial L}{\partial W^{(2)}} = \frac{\partial L}{\partial a^{(3)}} \cdot \frac{\partial a^{(3)}}{\partial z^{(3)}} \cdot \frac{\partial z^{(3)}}{\partial W^{(2)}}$$

import numpy as np

class NeuralNetwork:
    def __init__(self):
        self.weights = [np.random.randn(3, 4), np.random.randn(4, 1)]  # 示例权重

    def forward(self, X):
        self.z1 = np.dot(X, self.weights[0])  # 第一层加权输入
        self.a1 = sigmoid(self.z1)            # 第一层激活输出
        self.z2 = np.dot(self.a1, self.weights[1])  # 输出层加权输入
        return sigmoid(self.z2)               # 最终输出

    def backward(self, X, y, output):
        # 输出层误差
        error = output - y
        delta2 = error * sigmoid_derivative(output)

        # 隐藏层误差
        error_hidden = delta2.dot(self.weights[1].T)
        delta1 = error_hidden * sigmoid_derivative(self.a1)

        # 计算梯度
        grad_w1 = X.T.dot(delta1)
        grad_w2 = self.a1.T.dot(delta2)

        return grad_w1, grad_w2

learning_rate = 0.1
for epoch in range(1000):
    # ... 前向传播和反向传播...

    # 带学习率的参数更新
    self.weights[0] -= learning_rate * grad_w1 
    self.weights[1] -= learning_rate * grad_w2

    # 动态调整学习率
    if epoch % 100 == 0:
        learning_rate *= 0.9  # 每 100 轮衰减 10%