BP模型反向传播数学表示详解：从理论推导到代码实现

1次阅读

没有评论

共计 2181 个字符，预计需要花费 6 分钟才能阅读完成。

在深度学习模型中，神经网络通过前向传播计算输出值，然后通过反向传播来调整网络参数以最小化损失函数。前向传播相对直观，而反向传播则涉及复杂的数学推导，但它是训练神经网络的核心。

前向传播基础 ：
输入数据通过每一层的权重和偏置进行线性变换
经过激活函数（如 Sigmoid、ReLU）引入非线性
最终输出与真实值比较，计算损失函数（如 MSE、交叉熵）
为什么需要反向传播 ：
人工手动计算每层参数的导数在深层网络中不现实
反向传播利用链式法则高效计算所有参数的梯度
梯度下降算法依赖这些梯度来更新网络参数

反向传播的核心是链式法则的应用。我们以一个简单的 3 层全连接网络为例：

损失函数对输出层权重的导数 ：
$$\frac{\partial L}{\partial W^{(2)}} = \frac{\partial L}{\partial a^{(3)}} \cdot \frac{\partial a^{(3)}}{\partial z^{(3)}} \cdot \frac{\partial z^{(3)}}{\partial W^{(2)}}$$
隐藏层的梯度传播 ：
$$\frac{\partial L}{\partial W^{(1)}} = \frac{\partial L}{\partial a^{(3)}} \cdot \frac{\partial a^{(3)}}{\partial z^{(3)}} \cdot \frac{\partial z^{(3)}}{\partial a^{(2)}} \cdot \frac{\partial a^{(2)}}{\partial z^{(2)}} \cdot \frac{\partial z^{(2)}}{\partial W^{(1)}}$$
通用公式表示 ：
对于第 l 层：
$$\delta^{(l)} = \delta^{(l+1)} \cdot W^{(l)} \cdot f'(z^{(l)})$$
$$\frac{\partial L}{\partial W^{(l)}} = a^{(l-1)} \cdot \delta^{(l)}$$

下面是一个用 NumPy 实现的简单全连接网络反向传播：

import numpy as np

# 定义 Sigmoid 激活函数及其导数
def sigmoid(x):
    return 1/(1+np.exp(-x))

def sigmoid_derivative(x):
    return x*(1-x)

# 输入数据
X = np.array([[0,0,1], [0,1,1], [1,0,1], [1,1,1]])
y = np.array([[0,1,1,0]]).T

# 初始化权重
np.random.seed(1)
W1 = 2*np.random.random((3,4)) - 1  # 输入层到隐藏层
W2 = 2*np.random.random((4,1)) - 1  # 隐藏层到输出层

# 训练参数
learning_rate = 0.5
epochs = 10000

# 训练过程
for i in range(epochs):
    # 前向传播
    layer1 = sigmoid(np.dot(X, W1))
    layer2 = sigmoid(np.dot(layer1, W2))

    # 计算误差
    layer2_error = y - layer2

    if (i% 1000) == 0:
        print(f"Error at epoch {i}: {np.mean(np.abs(layer2_error))}")

    # 反向传播
    layer2_delta = layer2_error * sigmoid_derivative(layer2)
    layer1_error = layer2_delta.dot(W2.T)
    layer1_delta = layer1_error * sigmoid_derivative(layer1)

    # 更新权重
    W2 += learning_rate * layer1.T.dot(layer2_delta)
    W1 += learning_rate * X.T.dot(layer1_delta)