BP神经网络公式详解：从数学推导到Python实现

1次阅读

共计 2097 个字符，预计需要花费 6 分钟才能阅读完成。

BP 神经网络（Backpropagation Neural Network）是深度学习的基础，广泛应用于图像识别、语音处理和预测分析等领域。它的核心思想是通过误差反向传播来调整网络权重，使预测结果不断逼近真实值。理解 BP 神经网络的数学原理，是掌握深度学习的关键第一步。

前向传播（Forward Propagation）是神经网络计算输出的过程。以一个单隐层网络为例：

输入层到隐层 的计算公式：
$$z^{(1)} = W^{(1)}X + b^{(1)}$$
$$a^{(1)} = \sigma(z^{(1)})$$
其中 $W^{(1)}$ 是输入层到隐层的权重矩阵，$X$ 是输入特征，$b^{(1)}$ 是偏置项，$\sigma$ 是 Sigmoid 激活函数。
隐层到输出层 的计算公式：
$$z^{(2)} = W^{(2)}a^{(1)} + b^{(2)}$$
$$a^{(2)} = \sigma(z^{(2)})$$
$a^{(2)}$ 就是网络的最终输出。

反向传播（Backpropagation）通过链式法则计算梯度：

输出层误差：
$$\delta^{(2)} = (a^{(2)} – y) \odot \sigma'(z^{(2)})$$
其中 $\odot$ 表示逐元素相乘，$y$ 是真实标签。
隐层误差：
$$\delta^{(1)} = (W^{(2)T}\delta^{(2)}) \odot \sigma'(z^{(1)})$$
权重更新：
$$\Delta W^{(2)} = \delta^{(2)}a^{(1)T}$$
$$\Delta W^{(1)} = \delta^{(1)}X^T$$
$$W^{(2)} := W^{(2)} – \eta \Delta W^{(2)}$$
$$W^{(1)} := W^{(1)} – \eta \Delta W^{(1)}$$
$\eta$ 是学习率。

import numpy as np

class BPNeuralNetwork:
    def __init__(self, input_size, hidden_size, output_size):
        # 初始化权重
        self.W1 = np.random.randn(input_size, hidden_size) * 0.01
        self.b1 = np.zeros((1, hidden_size))
        self.W2 = np.random.randn(hidden_size, output_size) * 0.01
        self.b2 = np.zeros((1, output_size))

    def sigmoid(self, z):
        return 1 / (1 + np.exp(-z))

    def sigmoid_derivative(self, z):
        s = self.sigmoid(z)
        return s * (1 - s)

    def forward(self, X):
        # 前向传播
        self.z1 = np.dot(X, self.W1) + self.b1
        self.a1 = self.sigmoid(self.z1)
        self.z2 = np.dot(self.a1, self.W2) + self.b2
        self.a2 = self.sigmoid(self.z2)
        return self.a2

    def backward(self, X, y, learning_rate):
        # 反向传播
        m = X.shape[0]  # 样本数

        # 输出层误差
        delta2 = (self.a2 - y) * self.sigmoid_derivative(self.z2)
        dW2 = np.dot(self.a1.T, delta2) / m
        db2 = np.sum(delta2, axis=0, keepdims=True) / m

        # 隐层误差
        delta1 = np.dot(delta2, self.W2.T) * self.sigmoid_derivative(self.z1)
        dW1 = np.dot(X.T, delta1) / m
        db1 = np.sum(delta1, axis=0, keepdims=True) / m

        # 更新权重
        self.W2 -= learning_rate * dW2
        self.b2 -= learning_rate * db2
        self.W1 -= learning_rate * dW1
        self.b1 -= learning_rate * db1