深入解析bp误差反向传播：从数学原理到实现细节

1次阅读

共计 1935 个字符，预计需要花费 5 分钟才能阅读完成。

误差反向传播（Backpropagation，简称 BP）是神经网络训练的核心算法，其数学基础主要建立在多元微积分的链式法则上。理解 BP 算法需要掌握以下关键概念：

链式法则 ：复合函数的导数等于各层函数导数的乘积。对于神经网络而言，误差对权重的偏导需要通过各层激活函数的导数逐层传递
梯度下降 ：通过计算损失函数对参数的梯度，沿着负梯度方向更新参数以最小化损失
计算图 ：将神经网络的前向计算过程表示为有向图，方便反向传播时追踪计算路径

数学上，对于一个简单的两层神经网络，输出层的误差 δ 可以表示为：

δ^L = ∇_aC ⊙ σ'(z^L)

其中∇_aC 是损失函数对输出的梯度，⊙表示逐元素相乘，σ’ 是激活函数的导数。

前向传播阶段 ：
输入数据通过各层权重矩阵和激活函数逐层计算
记录每层的加权输入 z 和激活输出 a
最终输出与真实标签比较计算损失函数值
反向传播阶段 ：
从输出层开始计算误差项 δ
逐层反向传播误差，计算各层参数的梯度
根据梯度下降公式更新权重和偏置

以单隐层网络为例，反向传播的关键公式为：

δ^l = ((W^{l+1})^T δ^{l+1}) ⊙ σ'(z^l)
∂C/∂W^l = δ^l (a^{l-1})^T

import numpy as np

class NeuralNetwork:
    def __init__(self, input_size, hidden_size, output_size):
        self.W1 = np.random.randn(input_size, hidden_size) * 0.01
        self.b1 = np.zeros((1, hidden_size))
        self.W2 = np.random.randn(hidden_size, output_size) * 0.01
        self.b2 = np.zeros((1, output_size))

    def sigmoid(self, x):
        return 1 / (1 + np.exp(-x))

    def forward(self, X):
        self.z1 = np.dot(X, self.W1) + self.b1
        self.a1 = self.sigmoid(self.z1)
        self.z2 = np.dot(self.a1, self.W2) + self.b2
        self.a2 = self.sigmoid(self.z2)
        return self.a2

    def backward(self, X, y, learning_rate):
        m = X.shape[0]

        # 输出层误差
        delta2 = (self.a2 - y) * self.a2 * (1 - self.a2)
        dW2 = np.dot(self.a1.T, delta2) / m
        db2 = np.sum(delta2, axis=0, keepdims=True) / m

        # 隐藏层误差
        delta1 = np.dot(delta2, self.W2.T) * self.a1 * (1 - self.a1)
        dW1 = np.dot(X.T, delta1) / m
        db1 = np.sum(delta1, axis=0) / m

        # 参数更新
        self.W2 -= learning_rate * dW2
        self.b2 -= learning_rate * db2
        self.W1 -= learning_rate * dW1
        self.b1 -= learning_rate * db1