深入解析bp反向传播算法计算题：从数学原理到代码实现

1次阅读

共计 2306 个字符，预计需要花费 6 分钟才能阅读完成。

反向传播（Backpropagation，简称 BP）是训练神经网络的核心算法。它的核心思想是通过链式法则，将误差从输出层逐层反向传播到输入层，从而计算每个参数的梯度。对于初学者来说，理解 BP 算法的数学推导和实现细节是掌握深度学习的关键一步。

在神经网络中，前向传播计算预测值，而反向传播则根据预测值和真实值之间的误差来调整网络参数。这个过程需要大量的数学计算，尤其是链式法则的应用。

考虑一个简单的神经元，其输出为：

$$
z = w \cdot x + b
$$
$$
a = \sigma(z)
$$

其中，(\sigma)是激活函数，比如 Sigmoid。

在反向传播时，我们需要计算损失函数 (L) 对权重 (w) 和偏置 (b) 的梯度。根据链式法则：

$$
\frac{\partial L}{\partial w} = \frac{\partial L}{\partial a} \cdot \frac{\partial a}{\partial z} \cdot \frac{\partial z}{\partial w}
$$

类似地：

$$
\frac{\partial L}{\partial b} = \frac{\partial L}{\partial a} \cdot \frac{\partial a}{\partial z} \cdot \frac{\partial z}{\partial b}
$$

对于全连接层，假设输入为(X)，权重为(W)，偏置为(B)，则输出为：

$$
Z = X \cdot W + B
$$
$$
A = \sigma(Z)
$$

反向传播时，梯度计算需要扩展到矩阵形式。具体来说：

$$
\frac{\partial L}{\partial W} = X^T \cdot \frac{\partial L}{\partial Z}
$$
$$
\frac{\partial L}{\partial B} = \sum \frac{\partial L}{\partial Z}
$$

以下是一个简单的神经网络实现，包含前向传播和反向传播的逻辑：

import numpy as np

class NeuralNetwork:
    def __init__(self, input_size, hidden_size, output_size):
        self.W1 = np.random.randn(input_size, hidden_size)
        self.b1 = np.zeros((1, hidden_size))
        self.W2 = np.random.randn(hidden_size, output_size)
        self.b2 = np.zeros((1, output_size))

    def sigmoid(self, x):
        return 1 / (1 + np.exp(-x))

    def sigmoid_derivative(self, x):
        return x * (1 - x)

    def forward(self, X):
        self.z1 = np.dot(X, self.W1) + self.b1
        self.a1 = self.sigmoid(self.z1)
        self.z2 = np.dot(self.a1, self.W2) + self.b2
        self.a2 = self.sigmoid(self.z2)
        return self.a2

    def backward(self, X, y, output, learning_rate):
        error = output - y
        d_output = error * self.sigmoid_derivative(output)

        error_hidden = np.dot(d_output, self.W2.T)
        d_hidden = error_hidden * self.sigmoid_derivative(self.a1)

        self.W2 -= learning_rate * np.dot(self.a1.T, d_output)
        self.b2 -= learning_rate * np.sum(d_output, axis=0, keepdims=True)
        self.W1 -= learning_rate * np.dot(X.T, d_hidden)
        self.b1 -= learning_rate * np.sum(d_hidden, axis=0)

我们以 XOR 问题为例，演示 BP 算法的实际应用。XOR 问题的输入和输出如下：