深入解析BP反向传播算法：从数学原理到图像识别实战

1次阅读

没有评论

共计 2190 个字符，预计需要花费 6 分钟才能阅读完成。

反向传播（Backpropagation, BP）是神经网络训练的基石算法。要理解 BP，我们需要先明确几个基本概念：

前向传播：输入数据通过网络层层计算，最终得到预测输出
损失函数：衡量预测值与真实值的差距（如交叉熵、均方误差）
梯度下降：通过计算损失函数对参数的梯度，沿负梯度方向更新参数

BP 算法的核心数学工具是 链式求导法则。以三层网络为例：

前向传播计算：
$$z^{(2)} = W^{(1)}x + b^{(1)}$$
$$a^{(2)} = \sigma(z^{(2)})$$
$$z^{(3)} = W^{(2)}a^{(2)} + b^{(2)}$$
$$\hat{y} = \text{softmax}(z^{(3)})$$
反向传播时，先计算输出层误差：
$$\delta^{(3)} = \hat{y} – y$$
然后逐层回传：
$$\delta^{(2)} = (W^{(2)})^T\delta^{(3)} \odot \sigma'(z^{(2)})$$
最后更新参数：
$$\frac{\partial L}{\partial W^{(1)}} = \delta^{(2)}x^T$$
$$\frac{\partial L}{\partial b^{(1)}} = \delta^{(2)}$$

当 BP 算法应用于图像识别时，会遇到几个典型问题：

高维输入：一张 224×224 的 RGB 图像就有 150,528 个输入维度，直接全连接会导致参数量爆炸
局部特征提取：传统全连接网络难以捕捉图像的局部特征（如边缘、纹理）
梯度消失：深层网络中梯度连乘可能变得极小，导致底层参数更新缓慢

解决方案包括：

使用卷积神经网络（CNN）替代全连接网络
引入 ReLU 激活函数缓解梯度消失
采用批归一化（BatchNorm）加速训练

以下是使用 PyTorch 实现 BP 算法的完整示例：

import torch
import torch.nn as nn
import matplotlib.pyplot as plt

class SimpleNN(nn.Module):
    def __init__(self, input_size, hidden_size, num_classes):
        super(SimpleNN, self).__init__()
        self.fc1 = nn.Linear(input_size, hidden_size) 
        self.relu = nn.ReLU()
        self.fc2 = nn.Linear(hidden_size, num_classes)  

    def forward(self, x):
        out = self.fc1(x)
        out = self.relu(out)
        out = self.fc2(out)
        return out

# 超参数设置
input_size = 784  # 28x28
hidden_size = 500
num_classes = 10
learning_rate = 0.001

# 初始化模型
model = SimpleNN(input_size, hidden_size, num_classes)
criterion = nn.CrossEntropyLoss()
optimizer = torch.optim.Adam(model.parameters(), lr=learning_rate)

# 训练循环
loss_history = []
for epoch in range(5):
    for i, (images, labels) in enumerate(train_loader):
        # 前向传播
        outputs = model(images.view(-1, 28*28))
        loss = criterion(outputs, labels)

        # 反向传播
        optimizer.zero_grad()
        loss.backward()
        optimizer.step()

        loss_history.append(loss.item())

# 绘制损失曲线
plt.plot(loss_history)
plt.title('Training Loss')
plt.xlabel('Iterations')
plt.ylabel('Loss')
plt.show()

我们使用经典 MNIST 数据集验证 BP 算法效果：