CNN训练代码中的反向传播与参数更新：从原理到实现

1次阅读

共计 2152 个字符，预计需要花费 6 分钟才能阅读完成。

在调试 CNN 模型时，经常会遇到模型不收敛、准确率波动大等问题。很多初学者会盲目调整超参数，但如果不理解反向传播机制，就像在黑暗中摸索。反向传播是神经网络训练的引擎，它决定了参数如何根据误差进行调整。只有深入理解这一过程，才能快速定位问题，比如判断是梯度消失还是学习率设置不当。

反向传播的核心是链式法则。以一个简单的两层网络为例，假设损失函数为 L，第二层输出为 a2，权重为 W2，第一层输出为 a1，则第二层权重的梯度可以表示为：

∂L/∂W2 = (∂L/∂a2) * (∂a2/∂W2)

对于更深的网络，梯度会通过层层相乘传递到前面的层。这就是为什么深层网络容易出现梯度消失——当多个小于 1 的梯度连乘时，结果会趋近于 0。

不同的优化器采用不同的策略来更新参数：

SGD（随机梯度下降）：
```
W = W - η * ∂L/∂W
```
其中 η 是学习率。这是最简单的更新方式，但容易陷入局部最优。
Adam：结合了动量（Momentum）和自适应学习率的优点：
```
m = β1*m + (1-β1)*∂L/∂W
v = β2*v + (1-β2)*(∂L/∂W)^2
W = W - η * m/(sqrt(v) + ε)
```
这种自适应方法通常收敛更快。

下面是一个手动实现反向传播的完整示例，包含自定义层：

import torch
import torch.nn as nn

# 自定义层
class CustomLinear(nn.Module):
    def __init__(self, input_dim, output_dim):
        super().__init__()
        self.weight = nn.Parameter(torch.randn(input_dim, output_dim))
        self.bias = nn.Parameter(torch.zeros(output_dim))

    def forward(self, x):
        return x @ self.weight + self.bias

# 网络定义
model = nn.Sequential(CustomLinear(784, 128),
    nn.ReLU(),
    CustomLinear(128, 10)
)

# 手动实现反向传播
def manual_backward(model, x, y, criterion):
    # 前向传播
    outputs = model(x)
    loss = criterion(outputs, y)

    # 反向传播
    loss.backward()

    # 手动更新参数（模拟 SGD）with torch.no_grad():
        for param in model.parameters():
            param -= 0.01 * param.grad
            param.grad.zero_()

    return loss.item()

梯度消失 / 爆炸 ：
使用梯度裁剪（torch.nn.utils.clip_grad_norm_）
选择合适的激活函数（如 ReLU 代替 Sigmoid）
使用残差连接
学习率设置 ：
初始值通常在 0.01 到 0.001 之间
使用学习率调度器（torch.optim.lr_scheduler）
监控训练损失曲线调整

梯度检查是验证反向传播实现是否正确的重要方法：

def grad_check(model, x, y, criterion, eps=1e-5):
    # 计算数值梯度
    numerical_grads = []
    for param in model.parameters():
        grad = torch.zeros_like(param)
        for i in range(param.numel()):
            orig = param.data.flatten()[i]

            # f(x + eps)
            param.data.flatten()[i] = orig + eps
            loss_plus = criterion(model(x), y)

            # f(x - eps)
            param.data.flatten()[i] = orig - eps
            loss_minus = criterion(model(x), y)

            # 恢复原值
            param.data.flatten()[i] = orig

            grad.flatten()[i] = (loss_plus - loss_minus) / (2 * eps)
        numerical_grads.append(grad)

    # 比较数值梯度和解析梯度
    model.zero_grad()
    outputs = model(x)
    loss = criterion(outputs, y)
    loss.backward()

    for param, num_grad in zip(model.parameters(), numerical_grads):
        assert torch.allclose(param.grad, num_grad, rtol=1e-3), \
            f'梯度检查失败: {param.grad} vs {num_grad}'

现在你已经了解了反向传播的实现原理和验证方法。当你要实现一个新型激活函数时，如何确保其梯度计算正确呢？可以考虑以下步骤：