1974年反向传播算法：从数学原理到现代深度学习实践

1次阅读

共计 1645 个字符，预计需要花费 5 分钟才能阅读完成。

1974 年 Paul Werbos 首次提出的反向传播算法，如今已成为深度学习训练的标配。但框架封装带来的便利性，反而让许多开发者忽视了三个关键问题：

为什么链式法则能有效计算高维参数梯度？
自动微分 (autograd) 如何实现计算过程的记忆复用？
自定义层时哪些操作会导致梯度计算图断裂？

对于多层神经网络 $f(x)=W_3\sigma(W_2\sigma(W_1x))$，其参数梯度计算可表示为：

$$\frac{\partial L}{\partial W_1} = \frac{\partial L}{\partial f} \cdot \frac{\partial f}{\partial h_2} \cdot \frac{\partial h_2}{\partial h_1} \cdot \frac{\partial h_1}{\partial W_1}$$

其中每个 Jacobian 矩阵的维度必须满足矩阵乘法规则。例如当 $W_1 \in \mathbb{R}^{m\times n}$ 时，$\frac{\partial h_1}{\partial W_1}$ 实际上是秩为 3 的张量。

现代框架通过构建动态计算图实现：

前向传播时记录运算轨迹
反向传播时按拓扑逆序应用链式法则
中间结果根据需要缓存或即时计算

class LinearLayer:
    def __init__(self, in_dim, out_dim):
        self.weight = torch.randn(out_dim, in_dim) * 0.1
        self.bias = torch.zeros(out_dim)

    def forward(self, x):
        self.x = x  # 缓存输入用于反向传播
        return x @ self.weight.T + self.bias

    def backward(self, grad_output):
        # 按照矩阵求导法则计算
        self.dw = grad_output.T @ self.x  # ∂L/∂W = (∂L/∂Y)^T @ X
        self.db = grad_output.sum(0)     # ∂L/∂b = sum(∂L/∂Y, axis=0)
        return grad_output @ self.weight  # ∂L/∂X = ∂L/∂Y @ W

# 自动微分
x = torch.randn(10, 5)
model = torch.nn.Linear(5, 3)
out = model(x)
loss = out.sum()
loss.backward()

auto_grad = model.weight.grad.clone()

# 手动计算
manual_layer = LinearLayer(5, 3)
out = manual_layer.forward(x)
manual_layer.backward(torch.ones_like(out))

print(torch.allclose(auto_grad, manual_layer.dw, atol=1e-5))  # 输出 True