BP神经网络反向传播推导过程详解：从数学原理到代码实现

1次阅读

共计 2267 个字符，预计需要花费 6 分钟才能阅读完成。

反向传播（Backpropagation）是训练神经网络的核心算法，它通过计算损失函数对网络参数的梯度，利用梯度下降法不断调整权重和偏置，使网络的预测结果逐渐接近真实值。理解反向传播的数学原理，不仅能帮助我们更好地调试模型，还能为设计新的网络结构打下基础。

假设一个简单的三层神经网络（输入层、隐藏层、输出层），隐藏层和输出层的激活函数为 σ 和 φ。前向传播过程如下：

隐藏层输出：$h_j = \sigma(\sum_i w_{ji}x_i + b_j)$
输出层结果：$y_k = \phi(\sum_j w_{kj}h_j + b_k)$

定义均方误差损失函数：
$L = \frac{1}{2}\sum_k (t_k – y_k)^2$

通过链式法则，我们可以计算损失对各层参数的梯度：

输出层权重梯度：
$\frac{\partial L}{\partial w_{kj}} = \frac{\partial L}{\partial y_k} \cdot \frac{\partial y_k}{\partial w_{kj}} = -(t_k-y_k)\phi'(\cdot)h_j$
隐藏层权重梯度：
$\frac{\partial L}{\partial w_{ji}} = \frac{\partial L}{\partial h_j} \cdot \frac{\partial h_j}{\partial w_{ji}} = [\sum_k \frac{\partial L}{\partial y_k}\frac{\partial y_k}{\partial h_j}] \cdot \sigma'(\cdot)x_i$

定义误差项：
– 输出层误差：$\delta_k = (t_k-y_k)\phi'(\cdot)$
– 隐藏层误差：$\delta_j = [\sum_k \delta_k w_{kj}] \sigma'(\cdot)$

最终梯度计算简化为：
– $\Delta w_{kj} = \eta \delta_k h_j$
– $\Delta w_{ji} = \eta \delta_j x_i$

import numpy as np

class NeuralNetwork:
    def __init__(self, input_size, hidden_size, output_size):
        # 初始化权重
        self.W1 = np.random.randn(input_size, hidden_size)
        self.W2 = np.random.randn(hidden_size, output_size)

    def sigmoid(self, x):
        return 1/(1+np.exp(-x))

    def sigmoid_deriv(self, x):
        return x*(1-x)

    def forward(self, X):
        self.hidden = self.sigmoid(np.dot(X, self.W1))
        self.output = self.sigmoid(np.dot(self.hidden, self.W2))
        return self.output

    def backward(self, X, y, lr=0.1):
        # 计算输出层误差
        output_error = y - self.output
        output_delta = output_error * self.sigmoid_deriv(self.output)

        # 计算隐藏层误差
        hidden_error = output_delta.dot(self.W2.T)
        hidden_delta = hidden_error * self.sigmoid_deriv(self.hidden)

        # 更新权重
        self.W2 += lr * self.hidden.T.dot(output_delta)
        self.W1 += lr * X.T.dot(hidden_delta)

当网络层数较深时，梯度在反向传播过程中会不断连乘：