从BP反向传播算法到现代深度学习：1986年神经网络的复兴之路与技术演进

1次阅读

共计 2338 个字符，预计需要花费 6 分钟才能阅读完成。

1986 年 David Rumelhart 等人在《Nature》发表的论文《Learning representations by back-propagating errors》，首次系统阐述了反向传播算法（Backpropagation，简称 BP）的多层神经网络训练方法。这一突破解决了 1969 年 Minsky 对感知机局限性的质疑，主要体现为：

理论可行性证明 ：通过链式法则实现损失函数对任意权重的梯度计算，理论上支持多层网络的参数更新
工程实现路径 ：提出误差反向传播的迭代训练框架，比当时流行的符号主义方法更适应真实数据
硬件友好性 ：算法可分解为矩阵运算，为后续 GPU 加速奠定基础

当使用 Sigmoid 激活函数 $\sigma(z)=\frac{1}{1+e^{-z}}$ 时，其导数最大值为 0.25：

$$
\sigma'(z) = \sigma(z)(1-\sigma(z)) \leq 0.25
$$

在 n 层网络中，梯度需连乘 n 次导数，导致指数级衰减：

$$
\frac{\partial L}{\partial W_1} = \frac{\partial L}{\partial f_n} \cdot \prod_{k=2}^n \sigma'(z_k) \cdot W_k^T
$$

初始化敏感 ：传统随机初始化易导致神经元输出饱和（如 Sigmoid 在 0 / 1 附近梯度接近零）
协变量偏移 ：隐藏层输入分布随训练动态变化，需不断调整学习率
损失函数非凸性 ：存在大量局部极小值，传统优化方法易陷入次优解

ReLU（Rectified Linear Unit）的梯度特性：

$$
\text{ReLU}(z) = \max(0,z) \
\text{ReLU}'(z) = \begin{cases}
1 & \text{if} z > 0 \
0 & \text{otherwise}
\end{cases}
$$

相比 Sigmoid：

正向传播：避免指数运算开销
反向传播：梯度为常数 1，缓解消失问题
稀疏激活：约 50% 神经元会被抑制

方法	核心改进	典型学习率
SGD	原始梯度下降	0.01-0.1
Momentum	加入物理动量项	0.005-0.02
Adam	自适应矩估计 + 学习率缩放	0.0001-0.001

Adam 的权重更新公式：

$$
m_t = \beta_1 m_{t-1} + (1-\beta_1)g_t \
v_t = \beta_2 v_{t-1} + (1-\beta_2)g_t^2 \
\hat{m}t = \frac{m_t}{1-\beta_1^t}, \ \hat{v}_t = \frac{v_t}{1-\beta_2^t} \
W
$$} = W_t – \eta \frac{\hat{m}_t}{\sqrt{\hat{v}_t} + \epsilon

import torch
import torch.nn as nn
import torch.optim as optim

class BPNet(nn.Module):
    def __init__(self, input_dim=784, hidden_dim=256, output_dim=10):
        super().__init__()
        self.layers = nn.Sequential(nn.Linear(input_dim, hidden_dim),
            nn.BatchNorm1d(hidden_dim),  # 解决协变量偏移
            nn.ReLU(),
            nn.Dropout(0.5),  # 防止过拟合
            nn.Linear(hidden_dim, output_dim)
        )

    def forward(self, x):
        return self.layers(x)

# 训练配置示例
model = BPNet()
criterion = nn.CrossEntropyLoss()
optimizer = optim.Adam(model.parameters(), lr=0.001)

# 梯度裁剪（防止爆炸）torch.nn.utils.clip_grad_norm_(model.parameters(), max_norm=2.0)

from sklearn.model_selection import ParameterGrid

param_grid = {'lr': [0.1, 0.01, 0.001],
    'batch_size': [32, 64, 128]
}

for params in ParameterGrid(param_grid):
    train_loader = DataLoader(dataset, batch_size=params['batch_size'])
    optimizer = optim.SGD(model.parameters(), lr=params['lr'])
    # 训练验证流程...