反向传播算法入门指南：从1974年原始论文到现代实现

1次阅读

共计 1708 个字符，预计需要花费 5 分钟才能阅读完成。

1974 年，Paul Werbos 在他的博士论文中首次提出了反向传播算法（Backpropagation），这一算法后来成为训练神经网络的核心技术。虽然当时并未引起广泛关注，但到了 1986 年，Rumelhart、Hinton 和 Williams 重新发现并推广了这一算法，使其成为深度学习的基础。反向传播通过高效计算梯度，使得多层神经网络的训练成为可能，推动了人工智能的快速发展。

反向传播的核心是链式法则（Chain Rule），它允许我们逐层计算损失函数对每个参数的梯度。简单来说，链式法则告诉我们如何将复杂的导数分解为多个简单导数的乘积。

前向传播 ：输入数据通过网络层层传递，最终得到预测值。
计算损失 ：比较预测值与真实值，计算损失函数（如均方误差）。
反向传播 ：从输出层开始，逐层计算损失函数对每个参数的梯度，并更新参数。

链式法则的关键在于将梯度从输出层“反向”传递到输入层，因此得名“反向传播”。

以下是一个单隐藏层神经网络的 Python 实现，包含详细注释：

import numpy as np

# 定义激活函数及其导数
def sigmoid(x):
    return 1 / (1 + np.exp(-x))

def sigmoid_derivative(x):
    return x * (1 - x)

# 初始化参数
input_size = 2
hidden_size = 3
output_size = 1

# 随机初始化权重
W1 = np.random.randn(input_size, hidden_size)
W2 = np.random.randn(hidden_size, output_size)

# 训练数据
X = np.array([[0, 0], [0, 1], [1, 0], [1, 1]])
y = np.array([[0], [1], [1], [0]])

# 训练参数
learning_rate = 0.1
epochs = 10000

# 训练过程
for epoch in range(epochs):
    # 前向传播
    hidden_layer = sigmoid(np.dot(X, W1))
    output_layer = sigmoid(np.dot(hidden_layer, W2))

    # 计算损失
    loss = np.mean((output_layer - y) ** 2)

    # 反向传播
    d_output = (output_layer - y) * sigmoid_derivative(output_layer)
    d_hidden = np.dot(d_output, W2.T) * sigmoid_derivative(hidden_layer)

    # 更新权重
    W2 -= learning_rate * np.dot(hidden_layer.T, d_output)
    W1 -= learning_rate * np.dot(X.T, d_hidden)

    if epoch % 1000 == 0:
        print(f'Epoch {epoch}, Loss: {loss}')

print('Training complete!')

现代深度学习框架（如 PyTorch、TensorFlow）对反向传播进行了大量优化：