BP神经网络误差反向传播：从数学原理到Python实现

1次阅读

没有评论

共计 1970 个字符，预计需要花费 5 分钟才能阅读完成。

单层感知机（Perceptron）只能解决线性可分问题，连简单的异或（XOR）分类都无法实现。1986 年 Rumelhart 等人提出的误差反向传播算法（Backpropagation），让多层神经网络具备了学习非线性特征的能力。

举个直观例子：识别手写数字时，第一层可能学习边缘特征，第二层组合成笔画，第三层就能识别完整字符。这种层次化特征提取正是深度学习的基础。

以三层网络（输入层 - 隐藏层 - 输出层）为例，设：

$W^{(1)}$ 为输入到隐藏层的权重矩阵
$W^{(2)}$ 为隐藏到输出层的权重矩阵
$\sigma$ 为 Sigmoid 激活函数
$L$ 为均方误差损失函数

根据链式法则，输出层权重的梯度计算如下：

$$
\frac{\partial L}{\partial W^{(2)}} = \underbrace{(y – \hat{y})}{\text{误差项}} \cdot \underbrace{\sigma'(z^{(2)})}
$$}} \cdot \underbrace{a^{(1)}}_{\text{隐藏层输出}

而隐藏层权重的梯度需要继续反向传播：

$$
\frac{\partial L}{\partial W^{(1)}} = \left(\frac{\partial L}{\partial W^{(2)}} \cdot W^{(2)}\right) \cdot \sigma'(z^{(1)}) \cdot x
$$

这个逐层回溯的过程就像把误差信号从输出端「分配」回各层权重，因此得名「反向传播」。

import numpy as np

class NeuralNetwork:
    def __init__(self, input_size, hidden_size, output_size):
        self.W1 = np.random.randn(input_size, hidden_size) * 0.01
        self.W2 = np.random.randn(hidden_size, output_size) * 0.01

    def sigmoid(self, z):
        return 1 / (1 + np.exp(-z))

    def sigmoid_derivative(self, z):
        return self.sigmoid(z) * (1 - self.sigmoid(z))

    def forward(self, X):
        self.z1 = np.dot(X, self.W1)
        self.a1 = self.sigmoid(self.z1)
        self.z2 = np.dot(self.a1, self.W2)
        self.a2 = self.sigmoid(self.z2)
        return self.a2

    def backward(self, X, y, lr=0.1):
        # 输出层梯度
        error = self.a2 - y
        dW2 = np.dot(self.a1.T, error * self.sigmoid_derivative(self.z2))

        # 隐藏层梯度
        hidden_error = np.dot(error, self.W2.T)
        dW1 = np.dot(X.T, hidden_error * self.sigmoid_derivative(self.z1))

        # 更新权重
        self.W2 -= lr * dW2
        self.W1 -= lr * dW1