深入解析BP神经网络反向图：从数学原理到实现细节

1次阅读

共计 1851 个字符，预计需要花费 5 分钟才能阅读完成。

手动推导反向传播公式在浅层网络时代尚可应付，但随着深度学习模型复杂度的提升，这种方法暴露出三个致命缺陷：

公式膨胀问题：一个简单的 10 层全连接网络，手工推导的梯度公式就会占据整页 A4 纸，更不用说包含 LSTM 或注意力机制的模型
维护成本高：每次修改网络结构（如调整激活函数）都需要重新推导整个梯度链，极易引入人为错误
硬件适配困难：手动编写的 CUDA 核函数往往无法充分利用 GPU 并行特性，导致训练效率低下

现代深度学习框架主要采用三种自动微分实现方式：

Theano 式静态图：
预先生成完整计算图
优势：可进行全局优化（如算子融合）
局限：调试困难，无法支持动态控制流
Autograd 式纯动态图：
运行时记录操作历史
优势：灵活支持 Python 原生控制流
局限：难以进行跨 op 优化
PyTorch 折中方案：
动态构建图但保留静态图特性
通过 torch.jit 实现两阶段编译
目前工业界的主流选择

class Node:
    def __init__(self, data, requires_grad=False):
        self.data = np.array(data)
        self.grad = np.zeros_like(data) if requires_grad else None
        self._backward = lambda: None
        self.prev_nodes = set()

    def __matmul__(self, other):
        # 矩阵乘法前向传播
        out = Node(self.data @ other.data, requires_grad=True)
        out.prev_nodes = {self, other}

        # 定义梯度计算规则
        def _backward():
            self.grad += out.grad @ other.data.T
            other.grad += self.data.T @ out.grad
        out._backward = _backward
        return out

def topological_sort(node):
    visited = set()
    order = []

    def dfs(n):
        if n not in visited:
            visited.add(n)
            for child in n.prev_nodes:
                dfs(child)
            order.append(n)

    dfs(node)
    return order

def relu(x):
    out = Node(np.maximum(0, x.data), requires_grad=True)
    out.prev_nodes = {x}

    def _backward():
        x.grad += (out.data > 0) * out.grad
    out._backward = _backward
    return out

import graphviz

def visualize(root):
    dot = graphviz.Digraph()
    nodes = topological_sort(root)

    for i, n in enumerate(nodes):
        dot.node(str(id(n)), f"op{i}\nshape={n.data.shape}")
        for child in n.prev_nodes:
            dot.edge(str(id(child)), str(id(n)))
    return dot