深入解析BP网络的正向传播与反向传播：从数学原理到Python实现

1次阅读

共计 2097 个字符，预计需要花费 6 分钟才能阅读完成。

BP 神经网络（Back Propagation Neural Network）是一种多层前馈神经网络，通过误差反向传播算法进行训练。其核心包含两个关键过程：正向传播（Forward Propagation）和反向传播（Back Propagation）。

正向传播是指输入数据从输入层经过隐藏层到输出层的计算过程，最终得到预测输出。数学表达式为：

$$
z^{(l)} = W^{(l)}a^{(l-1)} + b^{(l)}
$$
$$
a^{(l)} = \sigma(z^{(l)})
$$

其中 $W^{(l)}$ 和 $b^{(l)}$ 分别是第 $l$ 层的权重和偏置，$\sigma$ 是激活函数。

反向传播是根据输出误差来调整网络参数的过程，核心是链式法则。首先定义损失函数 $L$，然后计算损失对参数的梯度：

$$
\frac{\partial L}{\partial W^{(l)}} = \frac{\partial L}{\partial z^{(l)}} \cdot \frac{\partial z^{(l)}}{\partial W^{(l)}} = \delta^{(l)} \cdot a^{(l-1)T}
$$

其中 $\delta^{(l)} = \frac{\partial L}{\partial z^{(l)}}$ 是第 $l$ 层的误差项。

下面我们使用 NumPy 实现一个简单的三层 BP 神经网络。

import numpy as np

class NeuralNetwork:
    def __init__(self, input_size, hidden_size, output_size):
        # 初始化权重
        self.W1 = np.random.randn(input_size, hidden_size) * 0.01
        self.b1 = np.zeros((1, hidden_size))
        self.W2 = np.random.randn(hidden_size, output_size) * 0.01
        self.b2 = np.zeros((1, output_size))

    def sigmoid(self, z):
        return 1 / (1 + np.exp(-z))

    def sigmoid_derivative(self, z):
        return self.sigmoid(z) * (1 - self.sigmoid(z))

    def forward(self, X):
        # 正向传播
        self.z1 = np.dot(X, self.W1) + self.b1
        self.a1 = self.sigmoid(self.z1)
        self.z2 = np.dot(self.a1, self.W2) + self.b2
        self.a2 = self.sigmoid(self.z2)
        return self.a2

    def backward(self, X, y, learning_rate):
        # 反向传播
        m = X.shape[0]

        # 输出层误差
        delta2 = (self.a2 - y) * self.sigmoid_derivative(self.z2)
        dW2 = np.dot(self.a1.T, delta2) / m
        db2 = np.sum(delta2, axis=0, keepdims=True) / m

        # 隐藏层误差
        delta1 = np.dot(delta2, self.W2.T) * self.sigmoid_derivative(self.z1)
        dW1 = np.dot(X.T, delta1) / m
        db1 = np.sum(delta1, axis=0, keepdims=True) / m

        # 更新参数
        self.W1 -= learning_rate * dW1
        self.b1 -= learning_rate * db1
        self.W2 -= learning_rate * dW2
        self.b2 -= learning_rate * db2

学习率是影响训练效果的关键超参数。常见策略包括：