深入解析bp反向传播网络：从数学原理到实现细节

1次阅读

没有评论

共计 1781 个字符，预计需要花费 5 分钟才能阅读完成。

反向传播 (BP) 算法的核心是链式法则的递归应用。考虑一个简单三层网络（输入层、隐藏层、输出层），前向传播时：

隐藏层输出：$h = \sigma(W_1x + b_1)$
最终输出：$y = W_2h + b_2$
损失函数：$L = \frac{1}{2}(y – t)^2$（MSE 损失）

反向传播时，我们需要计算损失对每个参数的梯度：

$\frac{\partial L}{\partial W_2} = (y-t) \cdot h^T$
$\frac{\partial L}{\partial b_2} = (y-t)$
$\frac{\partial L}{\partial W_1} = (W_2^T(y-t)) \odot \sigma'(z) \cdot x^T$
$\frac{\partial L}{\partial b_1} = (W_2^T(y-t)) \odot \sigma'(z)$

其中 $\odot$ 表示逐元素相乘，$\sigma’$ 是激活函数的导数。

import numpy as np

class DenseLayer:
    def __init__(self, input_size, output_size):
        self.W = np.random.randn(output_size, input_size) * 0.01
        self.b = np.zeros((output_size, 1))

    def forward(self, x):
        self.x = x  # 缓存输入用于反向传播
        return np.dot(self.W, self.x) + self.b

    def backward(self, dout):
        self.dW = np.dot(dout, self.x.T)
        self.db = np.sum(dout, axis=1, keepdims=True)
        return np.dot(self.W.T, dout)

class ReLU:
    def forward(self, x):
        self.mask = (x <= 0)
        return np.maximum(0, x)

    def backward(self, dout):
        dout[self.mask] = 0
        return dout

class MSE:
    def __call__(self, y_pred, y_true):
        self.y_pred, self.y_true = y_pred, y_true
        return 0.5 * np.mean((y_pred - y_true)**2)

    def backward(self):
        return (self.y_pred - self.y_true) / len(self.y_true)

# 训练示例
for epoch in range(epochs):
    # 前向传播
    h1 = relu1(dense1(x))
    y = dense2(h1)
    loss = mse(y, t)

    # 反向传播
    dy = mse.backward()
    dh1 = dense2.backward(dy)
    dx = relu1.backward(dh1)
    _ = dense1.backward(dx)

    # 参数更新
    dense1.W -= lr * dense1.dW
    dense2.W -= lr * dense2.dW