深度学习入门：从零理解bp反向传播计算的数学原理与实现

1次阅读

共计 2733 个字符，预计需要花费 7 分钟才能阅读完成。

作为一个刚接触深度学习的菜鸟，反向传播（Backpropagation）这个概念一直让我头疼。直到我真正动手推导了数学公式，并用 Python 实现了最简单的版本，才恍然大悟。今天我就把我的学习笔记整理出来，希望能帮助到同样在入门路上挣扎的你。

前向传播就是输入数据从神经网络的输入层，经过隐藏层，最终到达输出层的过程。在这个过程中，每一层的神经元都会进行两个计算：

线性计算：z = w*x + b
非线性激活：a = σ(z)（σ 代表激活函数，如 Sigmoid、ReLU 等）

反向传播则是根据预测结果与真实值的误差，反向调整网络中的权重（w）和偏置（b）的过程。它的核心思想是：

计算损失函数（Loss Function）对每个参数的梯度
使用梯度下降法更新参数

反向传播的数学基础是微积分中的链式法则。简单来说，就是：

[\frac{\partial L}{\partial w} = \frac{\partial L}{\partial a} \cdot \frac{\partial a}{\partial z} \cdot \frac{\partial z}{\partial w} ]

其中 L 是损失函数，a 是激活值，z 是线性输出。

让我们以一个简单的单神经元网络为例，推导反向传播的数学过程。

假设我们的网络只有一个神经元：

输入：x
权重：w
偏置：b
激活函数：Sigmoid (σ)
损失函数：均方误差 (MSE)

线性计算：
[z = w \cdot x + b]
激活函数：
[a = σ(z) = \frac{1}{1 + e^{-z}} ]
损失函数：
[L = \frac{1}{2}(a – y)^2 ]（y 是真实值）

我们需要计算损失函数对 w 和 b 的偏导数：

计算∂L/∂a：
[\frac{\partial L}{\partial a} = a – y ]
计算∂a/∂z（Sigmoid 的导数）：
[\frac{\partial a}{\partial z} = a(1 – a) ]
计算∂z/∂w 和∂z/∂b：
[\frac{\partial z}{\partial w} = x ]
[\frac{\partial z}{\partial b} = 1 ]
最终梯度：
[\frac{\partial L}{\partial w} = (a – y) \cdot a(1 – a) \cdot x ]
[\frac{\partial L}{\partial b} = (a – y) \cdot a(1 – a) \cdot 1 ]

使用梯度下降法更新参数：

[w = w – \alpha \cdot \frac{\partial L}{\partial w} ]
[b = b – \alpha \cdot \frac{\partial L}{\partial b} ]

其中 α 是学习率。

下面我们用 Python 实现一个简单的单层神经网络，包含完整的反向传播过程。

import numpy as np
import matplotlib.pyplot as plt

# Sigmoid 激活函数及其导数
def sigmoid(x):
    return 1 / (1 + np.exp(-x))

def sigmoid_derivative(x):
    return x * (1 - x)

# 网络参数
learning_rate = 0.1
epochs = 1000

# 训练数据（简单 OR 问题）X = np.array([[0, 0], [0, 1], [1, 0], [1, 1]])
y = np.array([[0], [1], [1], [1]])

# 初始化权重和偏置
np.random.seed(42)
weights = np.random.rand(2, 1)
bias = np.random.rand(1)

# 存储损失值用于可视化
loss_history = []

# 训练过程
for epoch in range(epochs):
    # 前向传播
    z = np.dot(X, weights) + bias
    a = sigmoid(z)

    # 计算损失（MSE）loss = np.mean(0.5 * (a - y)**2)
    loss_history.append(loss)

    # 反向传播
    error = a - y
    dL_da = error
    da_dz = sigmoid_derivative(a)
    dz_dw = X

    # 计算梯度
    dL_dw = np.dot(dz_dw.T, dL_da * da_dz)
    dL_db = np.sum(dL_da * da_dz)

    # 更新参数
    weights -= learning_rate * dL_dw
    bias -= learning_rate * dL_db

    # 每 100 次打印损失
    if epoch % 100 == 0:
        print(f'Epoch {epoch}, Loss: {loss:.4f}')

# 绘制损失曲线
plt.plot(loss_history)
plt.title('Training Loss')
plt.xlabel('Epoch')
plt.ylabel('Loss')
plt.show()

# 测试
print('\nFinal predictions:')
for i in range(len(X)):
    print(f'Input: {X[i]}, Predicted: {a[i][0]:.4f}, Actual: {y[i][0]}')

运行上面的代码，你会看到损失函数随着训练 epoch 的增加而逐渐下降的曲线。这是一个典型的梯度下降过程，表明我们的反向传播实现是有效的。

使用 Sigmoid 激活函数时，当输入值较大或较小时，导数会趋近于 0，导致梯度消失。解决方法：