BP神经网络反向传播计算例题详解：从数学推导到Python实现

1次阅读

共计 3091 个字符，预计需要花费 8 分钟才能阅读完成。

反向传播算法是训练神经网络的核心，但很多初学者在面对公式推导时容易感到困惑。本文将通过一个具体的数值例题，手把手带你完成前向传播和反向传播的全过程计算，最后用 Python 代码实现。我们将采用 3 层网络结构（输入层、隐藏层、输出层），使用 Sigmoid 激活函数，并假设损失函数为均方误差（MSE）。

假设我们有一个简单的 3 层神经网络：

输入层：2 个神经元（x1, x2）
隐藏层：2 个神经元（h1, h2）
输出层：1 个神经元（y）

初始权重和偏置随机初始化如下：

w1 = [[0.1, 0.2], [0.3, 0.4]]  # 输入层到隐藏层的权重
b1 = [0.5, 0.6]                # 隐藏层的偏置
w2 = [[0.7], [0.8]]            # 隐藏层到输出层的权重
b2 = [0.9]                     # 输出层的偏置

输入数据 x = [0.1, 0.2]，真实标签 y_true = 0.5。

输入层到隐藏层的计算：

z1 = x * w1 + b1
h = sigmoid(z1)

具体数值计算：

z1_1 = 0.1*0.1 + 0.2*0.3 + 0.5 = 0.01 + 0.06 + 0.5 = 0.57
z1_2 = 0.1*0.2 + 0.2*0.4 + 0.6 = 0.02 + 0.08 + 0.6 = 0.70

h1 = sigmoid(0.57) ≈ 0.638
h2 = sigmoid(0.70) ≈ 0.668

隐藏层到输出层的计算：

z2 = h * w2 + b2
y_pred = sigmoid(z2)

具体数值计算：

z2 = 0.638*0.7 + 0.668*0.8 + 0.9 ≈ 0.4466 + 0.5344 + 0.9 ≈ 1.881
y_pred = sigmoid(1.881) ≈ 0.868

计算输出层误差：

δ_output = (y_pred - y_true) * sigmoid_derivative(z2)

其中 sigmoid_derivative(z) = sigmoid(z)*(1-sigmoid(z))

数值计算：

δ_output = (0.868 - 0.5) * (0.868*(1-0.868)) ≈ 0.368 * 0.114 ≈ 0.042

计算隐藏层误差：

δ_hidden = (w2 * δ_output) * sigmoid_derivative(z1)

数值计算：

δ_hidden1 = (0.7 * 0.042) * (0.638*(1-0.638)) ≈ 0.0294 * 0.231 ≈ 0.0068
δ_hidden2 = (0.8 * 0.042) * (0.668*(1-0.668)) ≈ 0.0336 * 0.222 ≈ 0.0075

更新权重和偏置：

学习率 η 设为 0.5

更新 w2 和 b2：

Δw2 = -η * δ_output * h
Δb2 = -η * δ_output

数值计算：

Δw2_1 = -0.5 * 0.042 * 0.638 ≈ -0.0134
Δw2_2 = -0.5 * 0.042 * 0.668 ≈ -0.0140
Δb2 = -0.5 * 0.042 ≈ -0.021

w2_1_new = 0.7 - 0.0134 ≈ 0.6866
w2_2_new = 0.8 - 0.0140 ≈ 0.7860
b2_new = 0.9 - 0.021 ≈ 0.879

更新 w1 和 b1：

Δw1 = -η * δ_hidden * x
Δb1 = -η * δ_hidden

数值计算：

Δw1_11 = -0.5 * 0.0068 * 0.1 ≈ -0.00034
Δw1_12 = -0.5 * 0.0068 * 0.2 ≈ -0.00068
Δw1_21 = -0.5 * 0.0075 * 0.1 ≈ -0.000375
Δw1_22 = -0.5 * 0.0075 * 0.2 ≈ -0.00075
Δb1_1 = -0.5 * 0.0068 ≈ -0.0034
Δb1_2 = -0.5 * 0.0075 ≈ -0.00375

w1_11_new = 0.1 - 0.00034 ≈ 0.09966
w1_12_new = 0.2 - 0.00068 ≈ 0.19932
w1_21_new = 0.3 - 0.000375 ≈ 0.299625
w1_22_new = 0.4 - 0.00075 ≈ 0.39925
b1_1_new = 0.5 - 0.0034 ≈ 0.4966
b1_2_new = 0.6 - 0.00375 ≈ 0.59625

import numpy as np

def sigmoid(x):
    return 1 / (1 + np.exp(-x))

def sigmoid_derivative(x):
    return x * (1 - x)

# 初始化参数
w1 = np.array([[0.1, 0.2], [0.3, 0.4]])
b1 = np.array([0.5, 0.6])
w2 = np.array([[0.7], [0.8]])
b2 = np.array([0.9])

# 输入数据
x = np.array([0.1, 0.2])
y_true = 0.5

# 前向传播
z1 = np.dot(x, w1) + b1
h = sigmoid(z1)
z2 = np.dot(h, w2) + b2
y_pred = sigmoid(z2)

# 计算损失
loss = 0.5 * (y_pred - y_true) ** 2

# 反向传播
# 输出层误差
delta_output = (y_pred - y_true) * sigmoid_derivative(y_pred)

# 隐藏层误差
delta_hidden = np.dot(w2, delta_output) * sigmoid_derivative(h)

# 更新参数
learning_rate = 0.5

# 更新 w2 和 b2
w2 -= learning_rate * np.dot(h.reshape(-1,1), delta_output.reshape(1,-1))
b2 -= learning_rate * delta_output

# 更新 w1 和 b1
w1 -= learning_rate * np.dot(x.reshape(-1,1), delta_hidden.reshape(1,-1))
b1 -= learning_rate * delta_hidden

print(f"预测值: {y_pred[0]:.4f}")
print(f"更新后的 w1:\n{w1}")
print(f"更新后的 b1: {b1}")
print(f"更新后的 w2:\n{w2}")
print(f"更新后的 b2: {b2}")