从1986年反向传播论文看深度学习基础：原理与实现解析

1次阅读

共计 1841 个字符，预计需要花费 5 分钟才能阅读完成。

1986 年，David Rumelhart、Geoffrey Hinton 和 Ronald Williams 发表了一篇开创性的论文《Learning representations by back-propagating errors》，首次系统地描述了反向传播算法。这篇论文为现代深度学习奠定了基础，使得训练多层神经网络成为可能。在此之前，神经网络的训练主要局限于单层感知机，无法解决非线性可分问题。

这篇论文的重要性在于：

首次完整描述了误差反向传播的数学原理
证明了多层神经网络可以学习复杂的非线性映射
为后续深度学习的发展提供了理论基础

反向传播算法的核心是链式法则。考虑一个简单的三层神经网络（输入层、隐藏层、输出层），其前向传播过程可以表示为：

$$ h = \sigma(W_1x + b_1) $$
$$ y = \sigma(W_2h + b_2) $$

其中 $\sigma$ 是激活函数，$W$ 是权重矩阵，$b$ 是偏置项。

损失函数 $L$ 对权重的梯度计算遵循链式法则：

$$ \frac{\partial L}{\partial W_2} = \frac{\partial L}{\partial y} \cdot \frac{\partial y}{\partial W_2} $$

$$ \frac{\partial L}{\partial W_1} = \frac{\partial L}{\partial y} \cdot \frac{\partial y}{\partial h} \cdot \frac{\partial h}{\partial W_1} $$

这种从输出层向输入层逐层计算梯度的方式，就是反向传播的本质。

以下是使用 PyTorch 实现的反向传播示例：

import torch
import torch.nn as nn
import torch.optim as optim

# 定义网络结构
class SimpleNN(nn.Module):
    def __init__(self, input_size, hidden_size, output_size):
        super(SimpleNN, self).__init__()
        self.fc1 = nn.Linear(input_size, hidden_size)
        self.fc2 = nn.Linear(hidden_size, output_size)
        self.sigmoid = nn.Sigmoid()

    def forward(self, x):
        h = self.sigmoid(self.fc1(x))
        y = self.sigmoid(self.fc2(h))
        return y

# 初始化网络
model = SimpleNN(input_size=2, hidden_size=3, output_size=1)
criterion = nn.MSELoss()
optimizer = optim.SGD(model.parameters(), lr=0.1)

# 训练过程
for epoch in range(100):
    # 前向传播
    y_pred = model(x)

    # 计算损失
    loss = criterion(y_pred, y_true)

    # 反向传播
    optimizer.zero_grad()
    loss.backward()

    # 权重更新
    optimizer.step()

与 1986 年的原始算法相比，现代深度学习做了诸多改进：