CNN训练代码中的反向传播与参数更新：从原理到实现

1次阅读

共计 1900 个字符，预计需要花费 5 分钟才能阅读完成。

在调试 CNN 模型时，我们常常会遇到模型不收敛、准确率波动大等问题。很多时候，这些问题的根源在于反向传播的实现是否正确。不理解反向传播的原理，就像开车不看仪表盘——你永远不知道模型为什么表现不好。

反向传播的核心是链式法则。假设我们有一个简单的 CNN 层，前向传播可以表示为：

Z = W * X + b
A = σ(Z)

其中 σ 是激活函数。根据链式法则，损失 L 对权重 W 的梯度可以表示为：

∂L/∂W = (∂L/∂A) * (∂A/∂Z) * (∂Z/∂W)

这个简单的公式就是反向传播的基础。在实际的 CNN 中，这个计算会通过多个层反向传播，因此称为 ” 反向 ” 传播。

不同的优化器采用不同的策略来更新参数：

SGD(随机梯度下降)
```
W = W - η * ∂L/∂W
```
这是最简单的更新方式，η 是学习率。
Adam
Adam 结合了动量 (Momentum) 和自适应学习率的优点。它会计算梯度的一阶矩估计和二阶矩估计，然后进行偏差校正，最后更新参数。

下面是一个完整的 PyTorch 实现示例，展示如何手动实现反向传播：

import torch
import torch.nn as nn

class SimpleCNN(nn.Module):
    def __init__(self):
        super().__init__()
        self.conv = nn.Conv2d(1, 1, kernel_size=3, stride=1, padding=1)

    def forward(self, x):
        return self.conv(x)

# 创建模型和数据
model = SimpleCNN()
input = torch.randn(1, 1, 28, 28)
target = torch.randn(1, 1, 28, 28)

# 前向传播
output = model(input)
loss = torch.mean((output - target)**2)

# 手动反向传播
model.zero_grad()
loss.backward()

# 查看梯度
print(f"梯度值: {model.conv.weight.grad}")

梯度消失 / 爆炸
使用适当的权重初始化(如 Xavier 初始化)
添加 Batch Normalization 层
使用梯度裁剪(gradient clipping)
学习率设置
开始可以尝试 0.001
使用学习率调度器
监控训练损失曲线调整

梯度检查 (gradient check) 是验证反向传播实现是否正确的有效方法：

def gradient_check(model, input, target, eps=1e-7):
    # 计算数值梯度
    original_weight = model.conv.weight.data.clone()
    numerical_grad = torch.zeros_like(original_weight)

    for i in range(original_weight.numel()):
        # +eps
        model.conv.weight.data = original_weight.clone()
        model.conv.weight.data.flatten()[i] += eps
        loss_plus = torch.mean((model(input) - target)**2)

        # -eps
        model.conv.weight.data = original_weight.clone()
        model.conv.weight.data.flatten()[i] -= eps
        loss_minus = torch.mean((model(input) - target)**2)

        # 数值梯度
        numerical_grad.flatten()[i] = (loss_plus - loss_minus) / (2*eps)

    # 比较数值梯度和解析梯度
    model.zero_grad()
    output = model(input)
    loss = torch.mean((output - target)**2)
    loss.backward()

    difference = torch.abs(numerical_grad - model.conv.weight.grad).max()
    print(f"最大梯度差异: {difference.item()}")

当你需要实现一个新的激活函数时，如何确保其梯度计算是正确的？建议尝试：