深入解析bp反向传播算法：从数学原理到代码实现

1次阅读

共计 2356 个字符，预计需要花费 6 分钟才能阅读完成。

在深度学习中，神经网络的训练过程本质上是一个优化问题。我们需要通过调整网络中的权重参数，使得网络的输出尽可能接近真实的标签。bp（Backpropagation）反向传播算法是实现这一目标的核心技术，它通过计算损失函数对各个参数的梯度，指导参数的更新方向。

前向传播是指输入数据通过网络层层传递，最终得到输出的过程。以一个简单的三层神经网络为例：

输入层：$x$
隐藏层：$h = \sigma(W_1 x + b_1)$
输出层：$y = W_2 h + b_2$

其中，$\sigma$ 是激活函数（如 Sigmoid 或 ReLU），$W_1, W_2$ 是权重矩阵，$b_1, b_2$ 是偏置项。

反向传播的核心是通过链式法则计算损失函数对各个参数的梯度。假设损失函数为 $L$，我们需要计算 $\frac{\partial L}{\partial W_1}, \frac{\partial L}{\partial W_2}, \frac{\partial L}{\partial b_1}, \frac{\partial L}{\partial b_2}$。

计算输出层的梯度：
$$\frac{\partial L}{\partial y} = \frac{\partial L}{\partial y}$$
$$\frac{\partial L}{\partial W_2} = \frac{\partial L}{\partial y} \cdot h^T$$
$$\frac{\partial L}{\partial b_2} = \frac{\partial L}{\partial y}$$
计算隐藏层的梯度：
$$\frac{\partial L}{\partial h} = W_2^T \cdot \frac{\partial L}{\partial y}$$
$$\frac{\partial L}{\partial z_1} = \frac{\partial L}{\partial h} \cdot \sigma'(z_1)$$
$$\frac{\partial L}{\partial W_1} = \frac{\partial L}{\partial z_1} \cdot x^T$$
$$\frac{\partial L}{\partial b_1} = \frac{\partial L}{\partial z_1}$$

以下是一个简单的 Python 实现，使用 NumPy 库进行矩阵运算：

import numpy as np

# 定义激活函数及其导数
def sigmoid(x):
    return 1 / (1 + np.exp(-x))

def sigmoid_derivative(x):
    return x * (1 - x)

# 初始化参数
input_size = 2
hidden_size = 3
output_size = 1

W1 = np.random.randn(input_size, hidden_size)
W2 = np.random.randn(hidden_size, output_size)
b1 = np.zeros((1, hidden_size))
b2 = np.zeros((1, output_size))

# 前向传播
def forward(x):
    z1 = np.dot(x, W1) + b1
    h = sigmoid(z1)
    y = np.dot(h, W2) + b2
    return y, h

# 反向传播
def backward(x, y_true, y_pred, h):
    global W1, W2, b1, b2

    # 计算输出层梯度
    dL_dy = y_pred - y_true
    dW2 = np.dot(h.T, dL_dy)
    db2 = np.sum(dL_dy, axis=0, keepdims=True)

    # 计算隐藏层梯度
    dL_dh = np.dot(dL_dy, W2.T)
    dL_dz1 = dL_dh * sigmoid_derivative(h)
    dW1 = np.dot(x.T, dL_dz1)
    db1 = np.sum(dL_dz1, axis=0, keepdims=True)

    # 更新参数
    learning_rate = 0.01
    W1 -= learning_rate * dW1
    W2 -= learning_rate * dW2
    b1 -= learning_rate * db1
    b2 -= learning_rate * db2

梯度消失和梯度爆炸是训练深层网络时的常见问题。