误差反向传播神经网络：从Rumelhart的原始文献到现代实现

1次阅读

共计 1835 个字符，预计需要花费 5 分钟才能阅读完成。

1986 年，Rumelhart、Hinton 和 Williams 在《Learning representations by back-propagating errors》一文中首次系统描述了误差反向传播（Backpropagation）算法。这篇论文被认为是神经网络发展史上的里程碑，因为它解决了多层感知机的训练难题。在此之前，神经网络只能训练单层结构（如感知机），而反向传播使得深层网络的权重更新成为可能。

核心突破点在于：

提出了链式法则的递归应用方法，实现误差从输出层向隐藏层的逐层传递
推导出权重梯度计算的通用公式，适用于任意可微激活函数
首次证明了神经网络可以通过梯度下降学习输入数据的内部表示

使用 sigmoid 作为唯一激活函数
手动实现所有导数计算
批量更新权重（完成整个 epoch 后才更新）
没有正则化技术
计算全部基于 CPU 串行执行

支持 ReLU 等现代激活函数
自动微分系统（autograd）自动计算梯度
支持 mini-batch 训练
内置 L2 正则化、dropout 等机制
利用 GPU 并行计算加速

import torch
import torch.nn as nn
import torch.optim as optim

# 定义网络结构（模拟原始论文中的 3 层网络）class BPNN(nn.Module):
    def __init__(self, input_size=2, hidden_size=3, output_size=1):
        super().__init__()
        self.fc1 = nn.Linear(input_size, hidden_size)  # 输入层→隐藏层
        self.act = nn.Sigmoid()                        # 原始论文使用 sigmoid
        self.fc2 = nn.Linear(hidden_size, output_size) # 隐藏层→输出层

    def forward(self, x):
        x = self.act(self.fc1(x))
        return self.fc2(x)

# 训练流程（对比原始论文的批量更新）model = BPNN()
criterion = nn.MSELoss()  # 均方误差损失
optimizer = optim.SGD(model.parameters(), lr=0.1)  # 原始论文使用普通 SGD

# 模拟输入数据（XOR 问题，与原文实验相同）X = torch.tensor([[0,0], [0,1], [1,0], [1,1]], dtype=torch.float32)
y = torch.tensor([[0], [1], [1], [0]], dtype=torch.float32)

# 训练循环
for epoch in range(1000):
    optimizer.zero_grad()       # 清空梯度（现代框架需要显式清零）output = model(X)           # 前向传播
    loss = criterion(output, y) # 计算误差
    loss.backward()             # 反向传播（自动微分）optimizer.step()            # 权重更新

假设网络有 L 层，第 l 层有 nₗ个神经元：