BP神经网络反向传播推导过程详解：从数学原理到Python实现

1次阅读

没有评论

共计 1862 个字符，预计需要花费 5 分钟才能阅读完成。

单层感知机的权重更新公式为：

$$\Delta w_{ij} = -\eta \frac{\partial E}{\partial w_{ij}}$$

其中 $E$ 是损失函数，$\eta$ 为学习率。对于平方误差损失：

$$E = \frac{1}{2}(y – \hat{y})^2$$

在多层网络中，误差需要从输出层逐层反向传播。根据链式法则：

$$\frac{\partial E}{\partial w_{ij}^{(l)}} = \frac{\partial E}{\partial z_j^{(l)}} \cdot \frac{\partial z_j^{(l)}}{\partial w_{ij}^{(l)}}$$

其中 $z_j^{(l)}$ 表示第 $l$ 层第 $j$ 个神经元的加权输入。

对于输出层 $L$ 的神经元 $j$：

$$\delta_j^{(L)} = \frac{\partial E}{\partial z_j^{(L)}} = (y_j – \hat{y}_j) \cdot f'(z_j^{(L)})$$

对于隐藏层 $l$ 的神经元 $j$：

$$\delta_j^{(l)} = \left(\sum_{k} w_{jk}^{(l+1)} \delta_k^{(l+1)} \right) f'(z_j^{(l)})$$

最终权重更新量为：

$$\Delta w_{ij}^{(l)} = -\eta \cdot \delta_j^{(l)} \cdot a_i^{(l-1)}$$

import numpy as np

class NeuralNetwork:
    def __init__(self, layers):
        self.layers = layers
        self.weights = [np.random.randn(y, x) 
                        for x, y in zip(layers[:-1], layers[1:])]

    def sigmoid(self, z):
        return 1 / (1 + np.exp(-z))

    def sigmoid_derivative(self, z):
        return self.sigmoid(z) * (1 - self.sigmoid(z))

    def forward(self, X):
        self.activations = [X]
        self.z_values = []

        for w in self.weights:
            z = np.dot(self.activations[-1], w.T)
            self.z_values.append(z)
            self.activations.append(self.sigmoid(z))

        return self.activations[-1]

    def backward(self, X, y, learning_rate):
        # 输出层误差
        delta = (self.activations[-1] - y) * \
                self.sigmoid_derivative(self.z_values[-1])

        # 反向传播
        for l in range(len(self.weights)-1, 0, -1):
            # 更新权重
            self.weights[l] -= learning_rate * \
                np.dot(delta.T, self.activations[l])

            # 计算前一层的误差
            delta = np.dot(delta, self.weights[l]) * \
                    self.sigmoid_derivative(self.z_values[l-1])

        # 更新第一层权重
        self.weights[0] -= learning_rate * \
            np.dot(delta.T, self.activations[0])