BP神经网络的正向传播与反向传播：原理详解与高效实现

1次阅读

没有评论

共计 1733 个字符，预计需要花费 5 分钟才能阅读完成。

BP（Backpropagation）神经网络是深度学习的基础架构之一，因其强大的非线性拟合能力被广泛应用于分类、回归等任务。理解正向传播和反向传播的机制，不仅能帮助我们更好地调参优化模型，也是掌握更复杂神经网络结构的基石。

正向传播是数据从输入层流向输出层的过程，本质是复合函数的嵌套计算。以单隐层网络为例：

输入层到隐层 ：
$$h = \sigma(W_1 x + b_1)$$
其中 $\sigma$ 为激活函数（如 Sigmoid、ReLU），$W_1$ 为权重矩阵，$b_1$ 为偏置
隐层到输出层 ：
$$\hat{y} = \text{softmax}(W_2 h + b_2)$$
多分类任务常使用 softmax 激活函数将输出转化为概率分布

反向传播通过梯度下降更新参数，核心是链式求导法则。定义损失函数 $L$（如交叉熵）后：

输出层梯度：
$$\frac{\partial L}{\partial W_2} = (\hat{y} – y) \cdot h^T$$
隐层梯度：
$$\frac{\partial L}{\partial W_1} = (W_2^T(\hat{y}-y) \odot \sigma'(z)) \cdot x^T$$
其中 $\odot$ 表示逐元素乘法，$\sigma’$ 为激活函数导数

通过 NumPy 广播机制实现高效矩阵运算：

import numpy as np

def forward(x, W1, b1, W2, b2):
    z1 = np.dot(W1, x) + b1  # 隐层加权和
    h = 1 / (1 + np.exp(-z1)) # Sigmoid 激活
    z2 = np.dot(W2, h) + b2
    y_hat = np.exp(z2) / np.sum(np.exp(z2)) # softmax
    return y_hat, h

def backward(x, y, y_hat, h, W2):
    grad_z2 = y_hat - y  # 输出层误差
    grad_W2 = np.outer(grad_z2, h)
    grad_z1 = np.dot(W2.T, grad_z2) * h * (1 - h)  # Sigmoid 导数
    grad_W1 = np.outer(grad_z1, x)
    return grad_W1, grad_W2

通过数值梯度验证反向传播正确性：

def gradient_check(x, y, params, eps=1e-4):
    for i in range(len(params)):
        param_plus = params.copy()
        param_minus = params.copy()
        param_plus[i] += eps
        param_minus[i] -= eps
        numerical_grad = (loss(x,y,param_plus) - loss(x,y,param_minus))/(2*eps)
        analytic_grad = compute_grad(x,y,params)[i]
        assert np.allclose(numerical_grad, analytic_grad, rtol=1e-5)