深入解析bp反向传播算法推导：从数学原理到实现细节

1次阅读

没有评论

共计 2352 个字符，预计需要花费 6 分钟才能阅读完成。

在神经网络中，我们通常通过前向传播计算输出，然后使用损失函数衡量预测值与真实值的差距。反向传播（Backpropagation，简称 BP）算法的核心作用，就是高效计算损失函数对网络中各层参数的梯度，从而通过梯度下降法更新权重和偏置。

为什么需要反向传播？：手动计算每一层的梯度对于深层网络几乎不可行，反向传播通过链式法则实现了梯度的自动、高效计算。
关键思想 ：从输出层开始，逐层反向传递误差信号，计算每一层的梯度。

以一个单隐层网络为例，假设输入层、隐层、输出层的神经元数分别为 (d), (h), (c)，激活函数为 (\sigma)，损失函数为均方误差（MSE）。

输入层到隐层：
[z^{(1)} = W^{(1)}x + b^{(1)} ]
[a^{(1)} = \sigma(z^{(1)}) ]
隐层到输出层：
[z^{(2)} = W^{(2)}a^{(1)} + b^{(2)} ]
[a^{(2)} = \sigma(z^{(2)}) ]

[L = \frac{1}{2} \sum_{i=1}^{c} (a^{(2)}_i – y_i)^2 ]

输出层梯度：
[\frac{\partial L}{\partial z^{(2)}} = (a^{(2)} – y) \odot \sigma'(z^{(2)}) ]
隐层梯度：
[\frac{\partial L}{\partial z^{(1)}} = (W^{(2)T} \frac{\partial L}{\partial z^{(2)}}) \odot \sigma'(z^{(1)}) ]
权重和偏置的梯度：
[\frac{\partial L}{\partial W^{(2)}} = \frac{\partial L}{\partial z^{(2)}} a^{(1)T} ]
[\frac{\partial L}{\partial b^{(2)}} = \frac{\partial L}{\partial z^{(2)}} ]
[\frac{\partial L}{\partial W^{(1)}} = \frac{\partial L}{\partial z^{(1)}} x^T ]
[\frac{\partial L}{\partial b^{(1)}} = \frac{\partial L}{\partial z^{(1)}} ]

以下是使用 NumPy 库实现反向传播的完整代码：

import numpy as np

class NeuralNetwork:
    def __init__(self, input_size, hidden_size, output_size):
        # 初始化权重和偏置
        self.W1 = np.random.randn(hidden_size, input_size) * 0.01
        self.b1 = np.zeros((hidden_size, 1))
        self.W2 = np.random.randn(output_size, hidden_size) * 0.01
        self.b2 = np.zeros((output_size, 1))

    def sigmoid(self, z):
        return 1 / (1 + np.exp(-z))

    def sigmoid_derivative(self, z):
        s = self.sigmoid(z)
        return s * (1 - s)

    def forward(self, x):
        self.z1 = np.dot(self.W1, x) + self.b1
        self.a1 = self.sigmoid(self.z1)
        self.z2 = np.dot(self.W2, self.a1) + self.b2
        self.a2 = self.sigmoid(self.z2)
        return self.a2

    def backward(self, x, y, learning_rate):
        m = x.shape[1]  # 样本数量

        # 输出层误差
        dz2 = (self.a2 - y) * self.sigmoid_derivative(self.z2)
        dW2 = np.dot(dz2, self.a1.T) / m
        db2 = np.sum(dz2, axis=1, keepdims=True) / m

        # 隐层误差
        dz1 = np.dot(self.W2.T, dz2) * self.sigmoid_derivative(self.z1)
        dW1 = np.dot(dz1, x.T) / m
        db1 = np.sum(dz1, axis=1, keepdims=True) / m

        # 更新参数
        self.W2 -= learning_rate * dW2
        self.b2 -= learning_rate * db2
        self.W1 -= learning_rate * dW1
        self.b1 -= learning_rate * db1