深入解析bp算法误差反向传播过程示意图：从原理到实践

1次阅读

没有评论

共计 2095 个字符，预计需要花费 6 分钟才能阅读完成。

在深度学习中，神经网络的训练过程可以概括为两个主要步骤：前向传播和反向传播。前向传播负责计算网络的输出，而反向传播则根据输出与真实值之间的误差，调整网络的权重参数。这个过程反复进行，直到网络的预测结果达到满意的精度。

为什么需要反向传播？简单来说，神经网络有大量的参数需要优化，手动调整几乎是不可能的。反向传播通过自动计算梯度，告诉我们应该如何调整这些参数以减少误差。

正向传播是神经网络从输入到输出的计算过程。假设我们有一个简单的三层神经网络（输入层、隐藏层、输出层），其正向传播可以表示为：

输入层到隐藏层的计算：
$$ h = \sigma(W_1 x + b_1) $$
隐藏层到输出层的计算：
$$ y = \sigma(W_2 h + b_2) $$

其中，$\sigma$ 是激活函数（如 sigmoid 或 ReLU），$W$ 和 $b$ 是权重和偏置。

损失函数用于衡量预测值 $y$ 与真实值 $\hat{y}$ 之间的差距。常用的损失函数包括均方误差（MSE）：

$$ L = \frac{1}{2}(y – \hat{y})^2 $$

反向传播的核心是链式法则，它帮助我们计算损失函数对每个参数的梯度。以输出层的权重 $W_2$ 为例：

计算损失对输出的梯度：
$$ \frac{\partial L}{\partial y} = y – \hat{y} $$
计算输出对 $W_2$ 的梯度：
$$ \frac{\partial y}{\partial W_2} = h \cdot \sigma'(W_2 h + b_2) $$
使用链式法则组合：
$$ \frac{\partial L}{\partial W_2} = \frac{\partial L}{\partial y} \cdot \frac{\partial y}{\partial W_2} $$

类似地，我们可以计算其他参数的梯度。

梯度下降法是最常用的权重更新方法。其更新规则为：

$$ W = W – \eta \cdot \frac{\partial L}{\partial W} $$

其中，$\eta$ 是学习率，控制每次更新的步长。

以下是一个简单的 Python 实现，包括前向传播和反向传播：

import numpy as np

# 定义 sigmoid 函数及其导数
def sigmoid(x):
    return 1 / (1 + np.exp(-x))

def sigmoid_derivative(x):
    return x * (1 - x)

# 初始化参数
input_size = 2
hidden_size = 3
output_size = 1

W1 = np.random.randn(input_size, hidden_size)
W2 = np.random.randn(hidden_size, output_size)
b1 = np.zeros(hidden_size)
b2 = np.zeros(output_size)

# 前向传播
def forward(x):
    h = sigmoid(np.dot(x, W1) + b1)
    y = sigmoid(np.dot(h, W2) + b2)
    return h, y

# 反向传播
def backward(x, y_true, h, y_pred):
    global W1, W2, b1, b2

    # 计算输出层误差
    dL_dy = y_pred - y_true
    dy_dW2 = h.T * sigmoid_derivative(y_pred)
    dL_dW2 = np.dot(dy_dW2, dL_dy)

    # 计算隐藏层误差
    dL_dh = np.dot(dL_dy, W2.T) * sigmoid_derivative(h)
    dh_dW1 = x.T * sigmoid_derivative(h)
    dL_dW1 = np.dot(dh_dW1, dL_dh)

    # 更新权重
    learning_rate = 0.1
    W2 -= learning_rate * dL_dW2
    W1 -= learning_rate * dL_dW1
    b2 -= learning_rate * dL_dy
    b1 -= learning_rate * dL_dh

为了更直观地理解反向传播过程，我们可以使用 matplotlib 绘制误差反向传播的示意图。