BP神经网络公式详解：从数学推导到Python实现

1次阅读

共计 2230 个字符，预计需要花费 6 分钟才能阅读完成。

BP 神经网络（Backpropagation Neural Network）是深度学习的基础算法之一，它通过误差反向传播机制实现了多层感知器的有效训练。这种网络结构在图像分类、语音识别、自然语言处理等领域有广泛应用，尤其适合处理非线性可分问题。

从技术角度看，BP 神经网络的核心价值在于它提供了一种系统化的方法来调整网络权重，使网络输出逐渐逼近期望值。这个过程主要依靠梯度下降算法和链式法则来实现。

前向传播是指输入数据从输入层经过隐藏层最终到达输出层的过程。对于单个神经元，其输出可以表示为：

$$
z_j = \sum_{i}w_{ji}x_i + b_j
$$

$$
a_j = \sigma(z_j)
$$

其中：
– $w_{ji}$ 表示从第 i 个输入到第 j 个神经元的连接权重
– $x_i$ 是输入值
– $b_j$ 是偏置项
– $\sigma$ 是激活函数（这里使用 Sigmoid 函数）

反向传播的核心是计算损失函数对各个参数的梯度。我们以均方误差（MSE）作为损失函数：

$$
E = \frac{1}{2}\sum_{k}(y_k – a_k)^2
$$

对于输出层的权重更新，使用链式法则可以得到：

$$
\frac{\partial E}{\partial w_{kj}} = \frac{\partial E}{\partial a_k}\frac{\partial a_k}{\partial z_k}\frac{\partial z_k}{\partial w_{kj}} = -(y_k – a_k)\sigma'(z_k)a_j
$$

对于隐藏层的权重更新，需要考虑来自后一层所有神经元的误差传播：

$$
\frac{\partial E}{\partial w_{ji}} = \frac{\partial E}{\partial a_j}\frac{\partial a_j}{\partial z_j}\frac{\partial z_j}{\partial w_{ji}} = (\sum_{k}\frac{\partial E}{\partial z_k}\frac{\partial z_k}{\partial a_j})\sigma'(z_j)x_i
$$

下面是使用 NumPy 实现的 BP 神经网络核心代码：

import numpy as np

class NeuralNetwork:
    def __init__(self, input_size, hidden_size, output_size):
        # 初始化权重
        self.weights1 = np.random.randn(input_size, hidden_size)
        self.weights2 = np.random.randn(hidden_size, output_size)

    def sigmoid(self, x):
        return 1 / (1 + np.exp(-x))

    def sigmoid_derivative(self, x):
        return x * (1 - x)

    def forward(self, X):
        # 前向传播
        self.hidden = self.sigmoid(np.dot(X, self.weights1))
        self.output = self.sigmoid(np.dot(self.hidden, self.weights2))
        return self.output

    def backward(self, X, y, output, learning_rate):
        # 计算输出层误差
        output_error = y - output
        output_delta = output_error * self.sigmoid_derivative(output)

        # 计算隐藏层误差
        hidden_error = np.dot(output_delta, self.weights2.T)
        hidden_delta = hidden_error * self.sigmoid_derivative(self.hidden)

        # 更新权重
        self.weights2 += learning_rate * np.dot(self.hidden.T, output_delta)
        self.weights1 += learning_rate * np.dot(X.T, hidden_delta)

学习率（Learning Rate）是影响训练效果的关键参数：