bp反向传播算法入门指南：从数学原理到Python实现

1次阅读

共计 1947 个字符，预计需要花费 5 分钟才能阅读完成。

刚开始接触神经网络时，最让我困惑的就是：那么多参数（比如权重矩阵 Weight Matrix 和偏置 Bias），究竟该怎么调整才能让模型表现更好？手动计算每个参数的梯度简直是噩梦——尤其是当网络层数增加时，这种计算量会指数级增长。这就是反向传播（Backpropagation）算法要解决的核心问题：高效计算损失函数（Loss Function）对每个参数的梯度。

反向传播的本质是 链式法则（Chain Rule）的巧妙应用。我们以一个最简单的单隐藏层网络为例：

输入层 → 隐藏层（含 Sigmoid 激活）→ 输出层（线性变换）

假设损失函数用均方误差（MSE），那么对隐藏层权重 $W^{(1)}$ 的梯度计算步骤如下：

前向传播计算各层输出：
$$h = \sigma(W^{(1)}x + b^{(1)})$$
$$\hat{y} = W^{(2)}h + b^{(2)}$$
从输出层反向计算误差：
$$\frac{\partial L}{\partial \hat{y}} = 2(\hat{y} – y)$$
通过链式法则逐层回传：
$$\frac{\partial L}{\partial W^{(1)}} = \frac{\partial L}{\partial h} \cdot \frac{\partial h}{\partial z} \cdot \frac{\partial z}{\partial W^{(1)}}$$
其中 $z = W^{(1)}x + b^{(1)}$

（注：此处应为示意图链接）

import numpy as np

# 定义网络结构
input_size = 3
hidden_size = 4
output_size = 1

# 初始化参数
W1 = np.random.randn(input_size, hidden_size) * 0.01
b1 = np.zeros((1, hidden_size))
W2 = np.random.randn(hidden_size, output_size) * 0.01
b2 = np.zeros((1, output_size))

# 前向传播
def forward(x):
    z1 = np.dot(x, W1) + b1  # shape: (batch_size, hidden_size)
    a1 = 1 / (1 + np.exp(-z1))  # Sigmoid 激活
    z2 = np.dot(a1, W2) + b2  # shape: (batch_size, output_size)
    return z2, a1

# 反向传播
def backward(x, y, z2, a1):
    m = x.shape[0]  # batch 大小

    # 输出层梯度
    dz2 = (z2 - y) / m  # dL/dz2 shape 同 z2
    dW2 = np.dot(a1.T, dz2)  # shape 同 W2
    db2 = np.sum(dz2, axis=0, keepdims=True)

    # 隐藏层梯度
    dz1 = np.dot(dz2, W2.T) * (a1 * (1 - a1))  # 注意 Sigmoid 导数
    dW1 = np.dot(x.T, dz1)  # shape 同 W1
    db1 = np.sum(dz1, axis=0, keepdims=True)

    return dW1, db1, dW2, db2

# 参数更新示例
learning_rate = 0.1
for epoch in range(100):
    z2, a1 = forward(x_train)
    dW1, db1, dW2, db2 = backward(x_train, y_train, z2, a1)

    W1 -= learning_rate * dW1
    b1 -= learning_rate * db1
    W2 -= learning_rate * dW2
    b2 -= learning_rate * db2