BP神经网络误差反向传播原理详解与Python实现

1次阅读

没有评论

共计 2102 个字符，预计需要花费 6 分钟才能阅读完成。

在开始讨论 BP 神经网络之前，我们需要了解一些基本概念。神经网络是一种模仿生物神经网络结构和功能的数学模型，由大量的人工神经元相互连接构成。一个典型的神经网络包含输入层、隐藏层和输出层。

输入层：接收外部输入数据
隐藏层：进行特征提取和转换
输出层：产生最终的预测结果

前向传播是指数据从输入层经过隐藏层最终到达输出层的过程。在这个过程中，每个神经元都会对输入数据进行加权求和，然后通过激活函数进行非线性变换。

输入数据 x 通过权重矩阵 W1 计算得到隐藏层的输入
隐藏层通过激活函数 (如 sigmoid) 进行非线性变换
变换后的结果再通过权重矩阵 W2 计算输出层的输入
输出层最终产生预测值 y_pred

损失函数用来衡量预测值与真实值之间的差距，常用的有均方误差(MSE)：

loss = 1/2 * (y_pred - y_true)^2

误差反向传播是 BP 神经网络训练的核心，其基本原理是通过链式法则将误差从输出层反向传播到隐藏层，从而计算每个权重的梯度。

计算输出层误差：

δ_output = (y_pred - y_true) * f'(z_output)

其中 f ’ 是输出层激活函数的导数

计算隐藏层误差：

δ_hidden = W2.T * δ_output * f'(z_hidden)

计算权重梯度：

∂E/∂W2 = δ_output * a_hidden.T
∂E/∂W1 = δ_hidden * x.T

更新权重：

W = W - learning_rate * ∂E/∂W

下面是一个简单的 BP 神经网络实现，使用 NumPy 完成核心计算：

import numpy as np

class NeuralNetwork:
    def __init__(self, input_size, hidden_size, output_size):
        # 初始化权重
        self.W1 = np.random.randn(input_size, hidden_size) * 0.01
        self.W2 = np.random.randn(hidden_size, output_size) * 0.01

    def sigmoid(self, x):
        return 1 / (1 + np.exp(-x))

    def sigmoid_derivative(self, x):
        return x * (1 - x)

    def forward(self, x):
        # 前向传播
        self.z1 = np.dot(x, self.W1)
        self.a1 = self.sigmoid(self.z1)
        self.z2 = np.dot(self.a1, self.W2)
        self.a2 = self.sigmoid(self.z2)
        return self.a2

    def backward(self, x, y, learning_rate):
        # 反向传播
        m = x.shape[0]

        # 计算输出层误差
        delta2 = (self.a2 - y) * self.sigmoid_derivative(self.a2)
        dW2 = np.dot(self.a1.T, delta2) / m

        # 计算隐藏层误差
        delta1 = np.dot(delta2, self.W2.T) * self.sigmoid_derivative(self.a1)
        dW1 = np.dot(x.T, delta1) / m

        # 更新权重
        self.W2 -= learning_rate * dW2
        self.W1 -= learning_rate * dW1

    def train(self, X, y, epochs, learning_rate):
        for i in range(epochs):
            # 前向传播
            output = self.forward(X)

            # 反向传播
            self.backward(X, y, learning_rate)

            # 打印损失
            if i % 1000 == 0:
                loss = np.mean(np.square(y - output))
                print(f'Epoch {i}, Loss: {loss}')

当网络层数较深时，梯度可能会变得非常小 (消失) 或非常大(爆炸)，导致训练困难。解决方法包括：