CNN梯度下降原理详解与实战：从数学推导到PyTorch实现

1次阅读

没有评论

共计 1872 个字符，预计需要花费 5 分钟才能阅读完成。

刚开始学习 CNN 时，我总被反向传播的梯度计算搞得晕头转向。和全连接网络不同，卷积操作引入了三个特殊机制：

局部连接：每个神经元只连接输入图像的局部区域
权重共享：同一个卷积核在不同位置重复使用
池化操作：下采样会改变梯度传播路径

这些特性让梯度的传递路径变得复杂，特别是当网络层数加深时，手动推导梯度几乎成了不可能的任务。

考虑一个简单的 3×3 卷积核 $W$ 在 5×5 输入 $X$ 上的操作，输出特征图 $Y$ 的每个元素计算如下：

$$ Y_{i,j} = \sum_{m=0}^{2} \sum_{n=0}^{2} W_{m,n} X_{i+m, j+n} + b $$

当损失函数 $L$ 对 $W_{m,n}$ 求偏导时，链式法则告诉我们：

$$ \frac{\partial L}{\partial W_{m,n}} = \sum_{i,j} \frac{\partial L}{\partial Y_{i,j}} \frac{\partial Y_{i,j}}{\partial W_{m,n}} = \sum_{i,j} \delta_{i,j} X_{i+m,j+n} $$

这个求和过程实际上就是卷积操作！梯度计算时，我们是用输入特征图与来自上一层的梯度做互相关运算。

理论懂了，但怎么确认框架的计算是正确的？来看看 PyTorch 的实现方式：

import torch
import torch.nn as nn

# 自定义卷积层梯度验证
class Conv2dManual(nn.Module):
    def __init__(self, in_ch, out_ch, kernel_size):
        super().__init__()
        self.weight = nn.Parameter(torch.randn(out_ch, in_ch, kernel_size, kernel_size))
        self.bias = nn.Parameter(torch.zeros(out_ch))

    def forward(self, x):
        return nn.functional.conv2d(x, self.weight, self.bias, padding=1)

# 创建对比模型
manual_conv = Conv2dManual(3, 16, 3)
auto_conv = nn.Conv2d(3, 16, 3, padding=1)

# 注册梯度钩子
def grad_hook(module, grad_input, grad_output):
    print(f'梯度形状: {grad_input[0].shape}')

manual_conv.register_full_backward_hook(grad_hook)

# 前向传播
x = torch.randn(1, 3, 32, 32, requires_grad=True)
out_manual = manual_conv(x)
out_auto = auto_conv(x)

# 反向传播
loss_manual = out_manual.sum()
loss_manual.backward()

loss_auto = out_auto.sum()
loss_auto.backward()

# 比较权重梯度
print(torch.allclose(manual_conv.weight.grad, auto_conv.weight.grad, atol=1e-5))  # 输出 True