深入解析CNN反向传播算法：从数学原理到高效实现

1次阅读

共计 1742 个字符，预计需要花费 5 分钟才能阅读完成。

CNN 的训练过程可以简单概括为前向传播计算预测值、计算损失函数、反向传播更新权重三个步骤。反向传播算法是 CNN 训练的核心，它通过计算损失函数对网络参数的梯度，指导参数更新方向。本文将深入解析这一过程。

首先定义损失函数 L，对于单个样本，我们通常使用交叉熵损失：
$$L = -\sum y_i\log(p_i)$$
反向传播的核心是链式法则。对于卷积层的参数 W，梯度计算为：
$$\frac{\partial L}{\partial W} = \frac{\partial L}{\partial z}\frac{\partial z}{\partial W}$$
对于池化层，需要考虑上采样操作。以最大池化为例，梯度只传递给前向传播时被选中的最大值位置。

计算图将整个网络的计算过程表示为有向图，节点代表运算，边代表数据流动。
链式法则在计算图中的实现：
前向传播时记录中间结果
反向传播时根据链式法则逐层计算梯度
每个运算节点实现对应的梯度计算

import torch
import torch.nn as nn
import torch.nn.functional as F

class SimpleCNN(nn.Module):
    def __init__(self):
        super(SimpleCNN, self).__init__()
        self.conv1 = nn.Conv2d(1, 32, 3, padding=1)
        self.pool = nn.MaxPool2d(2, 2)
        self.fc = nn.Linear(32*14*14, 10)

    def forward(self, x):
        x = F.relu(self.conv1(x))
        x = self.pool(x)
        x = x.view(-1, 32*14*14)
        x = self.fc(x)
        return x

# 训练循环中的反向传播部分
model = SimpleCNN()
criterion = nn.CrossEntropyLoss()
optimizer = torch.optim.SGD(model.parameters(), lr=0.01)

for epoch in range(10):
    for inputs, labels in dataloader:
        # 前向传播
        outputs = model(inputs)
        loss = criterion(outputs, labels)

        # 反向传播
        optimizer.zero_grad()  # 清空梯度
        loss.backward()        # 计算梯度
        optimizer.step()       # 更新参数

使用自动混合精度 (AMP) 减少显存占用

scaler = torch.cuda.amp.GradScaler()

with torch.cuda.amp.autocast():
    outputs = model(inputs)
    loss = criterion(outputs, labels)

scaler.scale(loss).backward()
scaler.step(optimizer)
scaler.update()