反向传播算法(BP)原理解析与实现：从数学推导到Python实战

1次阅读

没有评论

共计 1501 个字符，预计需要花费 4 分钟才能阅读完成。

在神经网络训练中，我们需要调整权重参数使得模型的预测结果尽可能接近真实值。传统的梯度计算方法需要为每个参数单独计算梯度，这在深层网络中计算量会呈指数级增长。反向传播算法通过链式法则，实现了高效计算所有参数梯度的目的。

举个例子，在一个 3 层网络中：
– 传统方法需要分别计算每层参数的梯度
– BP 算法可以一次性计算所有参数的梯度

BP 算法的核心是链式法则。我们以简单的全连接网络为例，推导权重更新公式：

定义损失函数 L

$$L = \frac{1}{2}(y – \hat{y})^2$$

计算输出层梯度

$$\frac{\partial L}{\partial w^{(2)}} = \frac{\partial L}{\partial \hat{y}} \cdot \frac{\partial \hat{y}}{\partial z^{(2)}} \cdot \frac{\partial z^{(2)}}{\partial w^{(2)}}$$

计算隐藏层梯度

$$\frac{\partial L}{\partial w^{(1)}} = \frac{\partial L}{\partial h} \cdot \frac{\partial h}{\partial z^{(1)}} \cdot \frac{\partial z^{(1)}}{\partial w^{(1)}}$$

以下是使用 NumPy 实现的完整 BP 算法：

import numpy as np

# 定义网络结构
input_size = 2
hidden_size = 3
output_size = 1

# 初始化权重
W1 = np.random.randn(input_size, hidden_size)
W2 = np.random.randn(hidden_size, output_size)

# 前向传播
def forward(X):
    self.z1 = np.dot(X, W1)
    self.a1 = sigmoid(self.z1)
    self.z2 = np.dot(self.a1, W2)
    self.a2 = sigmoid(self.z2)
    return self.a2

# 反向传播
def backward(X, y, output):
    # 计算输出层误差
    error = output - y
    delta2 = error * sigmoid_derivative(output)

    # 计算隐藏层误差
    error_hidden = delta2.dot(W2.T)
    delta1 = error_hidden * sigmoid_derivative(self.a1)

    # 更新权重
    W2 -= learning_rate * self.a1.T.dot(delta2)
    W1 -= learning_rate * X.T.dot(delta1)