多层感知机与反向传播算法：从1986年论文到现代深度学习实践

1次阅读

共计 1889 个字符，预计需要花费 5 分钟才能阅读完成。

1986 年，Rumelhart、Hinton 等学者发表了具有里程碑意义的论文，提出了多层感知机（MLP）和反向传播算法（Backpropagation）。这一成果解决了单层感知机无法处理非线性可分问题的局限，为现代深度学习奠定了基础。论文首次系统性地描述了如何通过链式法则计算梯度，并利用梯度下降优化神经网络参数。如今，这一算法仍是深度学习框架的核心组件，从计算机视觉到自然语言处理都有广泛应用。

前向传播是数据从输入层流向输出层的过程。对于具有 $L$ 层的网络，第 $l$ 层的输出可表示为：
$$a^{(l)} = f(z^{(l)}) = f(W^{(l)}a^{(l-1)} + b^{(l)})$$
其中 $f$ 为激活函数（如 Sigmoid 或 ReLU），$W$ 为权重矩阵，$b$ 为偏置项。

反向传播通过链式法则逐层计算损失函数对参数的梯度。以均方误差损失 $E$ 为例：
1. 输出层误差：
$$\delta^{(L)} = \frac{\partial E}{\partial z^{(L)}} = (a^{(L)} – y) \odot f'(z^{(L)})$$
2. 隐藏层误差（$l=L-1,…,1$）：
$$\delta^{(l)} = (W^{(l+1)})^T\delta^{(l+1)} \odot f'(z^{(l)})$$
3. 参数梯度：
$$\frac{\partial E}{\partial W^{(l)}} = \delta^{(l)}(a^{(l-1)})^T, \quad \frac{\partial E}{\partial b^{(l)}} = \delta^{(l)}$$

import torch
import torch.nn as nn
import torch.optim as optim

class MLP(nn.Module):
    def __init__(self, input_dim=784, hidden_dim=128, output_dim=10):
        super().__init__()
        self.layers = nn.Sequential(nn.Linear(input_dim, hidden_dim),
            nn.ReLU(),
            nn.Linear(hidden_dim, output_dim)
        )

    def forward(self, x):
        return self.layers(x.flatten(1))

# 训练流程
device = torch.device('cuda' if torch.cuda.is_available() else 'cpu')
model = MLP().to(device)
criterion = nn.CrossEntropyLoss()
optimizer = optim.SGD(model.parameters(), lr=0.01)

for epoch in range(10):
    for X, y in train_loader:
        X, y = X.to(device), y.to(device)
        optimizer.zero_grad()
        output = model(X)
        loss = criterion(output, y)
        loss.backward()  # 自动反向传播
        optimizer.step()

在深层网络中，梯度可能指数级减小（消失）或增大（爆炸）。原因在于：
$$\delta^{(l)} \propto \prod_{k=l}^{L-1} W^{(k+1)}f'(z^{(k)})$$

解决方案：
1. 使用 ReLU 等非饱和激活函数
2. 采用 Batch Normalization
3. 残差连接（ResNet）
4. 梯度裁剪（Gradient Clipping）

在 MNIST 数据集上，基础 MLP 可实现约 97% 的测试准确率。关键改进点：
1. 增加隐藏层宽度至 256 单元：+0.8%
2. 添加 Dropout 层（p=0.5）：+0.5%
3. 使用 Adam 优化器：+1.2%