BP神经网络误差反向传播原理详解与Python实现

1次阅读

没有评论

共计 2612 个字符，预计需要花费 7 分钟才能阅读完成。

在开始理解误差反向传播之前，我们需要先建立一些基本的神经网络概念。BP 神经网络通常由输入层、隐藏层和输出层组成，每层包含若干神经元。数据从输入层进入网络，经过隐藏层处理后，最终在输出层产生预测结果。

前向传播是神经网络进行预测的过程。在这个过程中，输入数据通过网络的每一层，每一层对输入数据进行加权求和并通过激活函数进行非线性转换。

输入层接收原始数据
每个神经元计算加权和：z = w·x + b
通过激活函数产生输出：a = σ(z)
输出传递到下一层作为输入

损失函数用于衡量神经网络的预测值与真实值之间的差距。常见的损失函数包括均方误差（MSE）和交叉熵损失。对于回归问题，我们通常使用 MSE：

L = 1/2 * Σ(y_pred – y_true)^2

误差反向传播（Backpropagation）是训练神经网络的核心算法，它通过计算损失函数对网络参数的梯度，然后使用梯度下降法来更新参数。

反向传播的核心是微积分中的链式法则。我们需要计算损失函数对每个参数的偏导数，这可以分解为：

计算损失函数对输出层输出的偏导数
计算输出层输出对输出层输入的偏导数
计算输出层输入对权重的偏导数

对于隐藏层，我们需要继续向后传播误差：

计算下一层误差对当前层输出的偏导数
重复步骤 2 - 4 直到输入层

让我们以一个简单的三层网络（输入 - 隐藏 - 输出）为例进行推导：

输出层误差：δ^L = ∂L/∂a^L * σ'(z^L)
隐藏层误差：δ^l = (w^{l+1})^T * δ^{l+1} * σ'(z^l)
权重梯度：∂L/∂w^l = δ^l * a^{l-1}
偏置梯度：∂L/∂b^l = δ^l

下面我们使用 NumPy 实现一个完整的 BP 神经网络。

import numpy as np

class NeuralNetwork:
    def __init__(self, input_size, hidden_size, output_size):
        # 初始化权重和偏置
        self.W1 = np.random.randn(input_size, hidden_size) * 0.01
        self.b1 = np.zeros((1, hidden_size))
        self.W2 = np.random.randn(hidden_size, output_size) * 0.01
        self.b2 = np.zeros((1, output_size))

    def forward(self, X):
        # 隐藏层计算
        self.z1 = np.dot(X, self.W1) + self.b1
        self.a1 = self.sigmoid(self.z1)

        # 输出层计算
        self.z2 = np.dot(self.a1, self.W2) + self.b2
        self.a2 = self.sigmoid(self.z2)

        return self.a2

    def sigmoid(self, z):
        return 1 / (1 + np.exp(-z))

    def backward(self, X, y, learning_rate):
        m = X.shape[0]  # 样本数量

        # 输出层误差
        delta2 = (self.a2 - y) * self.sigmoid_derivative(self.z2)
        dW2 = np.dot(self.a1.T, delta2) / m
        db2 = np.sum(delta2, axis=0, keepdims=True) / m

        # 隐藏层误差
        delta1 = np.dot(delta2, self.W2.T) * self.sigmoid_derivative(self.z1)
        dW1 = np.dot(X.T, delta1) / m
        db1 = np.sum(delta1, axis=0, keepdims=True) / m

        # 更新参数
        self.W2 -= learning_rate * dW2
        self.b2 -= learning_rate * db2
        self.W1 -= learning_rate * dW1
        self.b1 -= learning_rate * db1

    def sigmoid_derivative(self, z):
        s = self.sigmoid(z)
        return s * (1 - s)

    def train(self, X, y, epochs, learning_rate):
        for i in range(epochs):
            # 前向传播
            output = self.forward(X)

            # 计算损失
            loss = np.mean((output - y) ** 2)

            # 反向传播
            self.backward(X, y, learning_rate)

            if i % 100 == 0:
                print(f'Epoch {i}, Loss: {loss:.4f}')

梯度消失和爆炸是深度神经网络训练中的常见问题。当梯度在反向传播过程中变得非常小（消失）或非常大（爆炸）时，网络将难以有效学习。

解决方案：