深入解析bp反向传播算法过程：从数学原理到代码实现

1次阅读

共计 1784 个字符，预计需要花费 5 分钟才能阅读完成。

神经网络通过模拟人脑神经元的工作方式，能够学习复杂的非线性关系。但要让这个 ” 黑箱 ” 真正学会处理任务，核心在于如何调整网络中的权重参数——这正是反向传播算法的用武之地。

前向传播的局限性 ：单纯的前向计算只能得到预测结果，无法知道预测与真实值的差距有多大
误差反馈的需求 ：需要一种机制将输出层的误差反向传递到各层，指导权重调整方向
梯度下降的搭档 ：反向传播本质是梯度下降法中计算梯度的有效方法

定义损失函数 ：以均方误差为例，L = 1/2Σ(y_pred – y_true)²
输出层梯度计算 ：∂L/∂z = (y_pred – y_true) * σ'(z)，其中 z 是加权输入
隐藏层梯度传播 ：
∂L/∂w = ∂L/∂a * ∂a/∂z * ∂z/∂w
每一层的误差项 δ = 后一层的 δ * 权重矩阵转置 ⊙ 当前层激活函数的导数
权重更新公式 ：w_new = w_old – η * ∂L/∂w

import numpy as np

class NeuralNetwork:
    def __init__(self, layers):
        self.weights = [np.random.randn(y, x)*0.1 
                        for x, y in zip(layers[:-1], layers[1:])]
        self.biases = [np.zeros((y, 1)) for y in layers[1:]]

    def sigmoid(self, z):
        return 1/(1+np.exp(-z))

    def sigmoid_prime(self, z):
        s = self.sigmoid(z)
        return s * (1-s)

    def forward(self, x):
        for w, b in zip(self.weights, self.biases):
            x = self.sigmoid(np.dot(w, x) + b)
        return x

    def backward(self, x, y):
        # 初始化梯度
        grad_w = [np.zeros_like(w) for w in self.weights]
        grad_b = [np.zeros_like(b) for b in self.biases]

        # 前向传播保存中间结果
        activation = x
        activations = [x]
        zs = []

        for w, b in zip(self.weights, self.biases):
            z = np.dot(w, activation) + b
            zs.append(z)
            activation = self.sigmoid(z)
            activations.append(activation)

        # 反向传播
        delta = (activations[-1] - y) * self.sigmoid_prime(zs[-1])
        grad_b[-1] = delta
        grad_w[-1] = np.dot(delta, activations[-2].T)

        for l in range(2, len(self.weights)+1):
            z = zs[-l]
            sp = self.sigmoid_prime(z)
            delta = np.dot(self.weights[-l+1].T, delta) * sp
            grad_b[-l] = delta
            grad_w[-l] = np.dot(delta, activations[-l-1].T)

        return grad_w, grad_b