深入解析BP反向传播算法：从数学原理到图像识别实战

1次阅读

没有评论

共计 1797 个字符，预计需要花费 5 分钟才能阅读完成。

反向传播（Backpropagation, BP）算法是训练神经网络的核心方法。要理解 BP 算法，首先需要明确几个基本概念：

前向传播：输入数据通过神经网络各层，最终产生预测输出
损失函数：衡量预测输出与真实标签的差异（如交叉熵、均方误差）
梯度下降：通过计算损失函数对参数的梯度来更新权重

BP 算法的数学本质是 链式法则 的应用。对于一个简单的全连接层，权重更新公式可表示为：

$$\frac{\partial L}{\partial w_{ij}} = \frac{\partial L}{\partial z_j} \cdot \frac{\partial z_j}{\partial w_{ij}}$$

其中 $L$ 是损失函数，$z_j$ 是第 j 个神经元的加权输入。

当 BP 算法应用于图像识别任务时，会遇到几个典型问题：

维度灾难：一张 28×28 的灰度图像展开就是 784 维向量，参数量爆炸
局部相关性：传统全连接网络难以捕捉图像的局部特征
梯度消失：深层网络中梯度逐层衰减，导致底层参数更新缓慢

卷积神经网络（CNN）通过局部感受野、权值共享等机制有效缓解了这些问题。但 BP 算法在 CNN 中的实现也变得更加复杂，需要考虑卷积核、池化等特殊操作的反向传播。

以下是使用 PyTorch 实现 BP 算法的核心代码片段（完整代码见文末 GitHub 链接）：

import torch
import torch.nn as nn
import matplotlib.pyplot as plt

# 定义简单全连接网络
class Net(nn.Module):
    def __init__(self):
        super(Net, self).__init__()
        self.fc1 = nn.Linear(784, 128)
        self.fc2 = nn.Linear(128, 10)

    def forward(self, x):
        x = torch.sigmoid(self.fc1(x))
        return self.fc2(x)

# 训练循环
net = Net()
criterion = nn.CrossEntropyLoss()
optimizer = torch.optim.SGD(net.parameters(), lr=0.01)

gradients = []  # 记录梯度变化
for epoch in range(10):
    for data, target in train_loader:
        optimizer.zero_grad()
        output = net(data.view(-1, 784))
        loss = criterion(output, target)
        loss.backward()  # 反向传播

        # 记录第一层权重梯度
        gradients.append(net.fc1.weight.grad.abs().mean().item())

        optimizer.step()

# 绘制梯度变化
plt.plot(gradients)
plt.title('Gradient Magnitude During Training')
plt.xlabel('Iteration')
plt.ylabel('Average Gradient')

在 MNIST 手写数字识别任务中，我们通过以下优化显著提升了 BP 算法的效果：