BP神经网络误差反向传播原理解析与Python实现

1次阅读

共计 2178 个字符，预计需要花费 6 分钟才能阅读完成。

神经网络模仿人脑神经元的工作方式，通过多层连接的节点（神经元）进行信息处理。前向传播时，输入数据从输入层经过隐藏层最终到达输出层，每一层都会对数据进行加权求和并应用激活函数。然而，网络的权重初始设置往往是随机的，导致输出与真实值之间存在误差。

误差反向传播（Backpropagation，简称 BP）算法正是为了解决这个问题而提出的。它的核心思想是根据输出误差，逆向调整网络中的权重和偏置，使得误差最小化。这个过程类似于 ” 教 ” 网络如何正确预测，通过不断修正错误来提升性能。

BP 算法的关键在于链式法则的应用，它帮助我们计算误差对每个权重的梯度。以下是关键步骤：

定义误差函数：通常使用均方误差（MSE）或交叉熵损失函数。
计算输出层的误差：误差对输出层输入的导数乘以激活函数的导数。
反向传播误差到隐藏层：将误差从输出层逐层传递回输入层。
更新权重和偏置：使用梯度下降法调整参数。

数学表达式如下（以单个神经元为例）：

输出误差：δᵢ = (yᵢ – ŷᵢ) * f'(zᵢ)
隐藏层误差：δⱼ = (Σ δᵢ * wᵢⱼ) * f'(zⱼ)
权重更新：Δwᵢⱼ = -η * δᵢ * aⱼ

其中，η 是学习率，f’ 是激活函数的导数，aⱼ是上一层的输出。

下面是一个使用 NumPy 实现的简单 BP 神经网络：

import numpy as np

class NeuralNetwork:
    def __init__(self, layers):
        self.layers = layers
        self.weights = [np.random.randn(layers[i], layers[i+1]) for i in range(len(layers)-1)]
        self.biases = [np.random.randn(1, layers[i+1]) for i in range(len(layers)-1)]

    def sigmoid(self, x):
        return 1 / (1 + np.exp(-x))

    def sigmoid_derivative(self, x):
        return x * (1 - x)

    def forward(self, X):
        self.activations = [X]
        self.zs = []
        for w, b in zip(self.weights, self.biases):
            z = np.dot(self.activations[-1], w) + b
            self.zs.append(z)
            self.activations.append(self.sigmoid(z))
        return self.activations[-1]

    def backward(self, X, y, learning_rate):
        # 计算输出层误差
        error = self.activations[-1] - y
        deltas = [error * self.sigmoid_derivative(self.activations[-1])]

        # 反向传播误差
        for i in range(len(self.weights)-1, 0, -1):
            delta = np.dot(deltas[-1], self.weights[i].T) * self.sigmoid_derivative(self.activations[i])
            deltas.append(delta)
        deltas.reverse()

        # 更新权重和偏置
        for i in range(len(self.weights)):
            self.weights[i] -= learning_rate * np.dot(self.activations[i].T, deltas[i])
            self.biases[i] -= learning_rate * np.sum(deltas[i], axis=0, keepdims=True)

    def train(self, X, y, epochs, learning_rate):
        for _ in range(epochs):
            self.forward(X)
            self.backward(X, y, learning_rate)

当网络层数较深时，梯度在反向传播过程中可能变得非常小，导致浅层权重几乎不更新。解决方案包括：