深入解析BP反向传播神经网络：从数学原理到Python实现

1次阅读

共计 1766 个字符，预计需要花费 5 分钟才能阅读完成。

BP 反向传播算法是神经网络训练的引擎，它通过梯度下降实现参数自动优化。没有 BP 算法，深度学习模型就无法从数据中学习复杂模式。现代所有神经网络的训练流程，本质上都是 BP 算法的变种或扩展。

假设网络有 $L$ 层，第 $l$ 层的输出为：
$$a^{l} = \sigma(z^{l}) = \sigma(W^{l}a^{l-1} + b^{l})$$

对于损失函数 $J$，输出层的梯度为：
$$\frac{\partial J}{\partial z^{L}} = \frac{\partial J}{\partial a^{L}} \odot \sigma'(z^{L})$$

通过链式法则反向传播：
$$\frac{\partial J}{\partial z^{l}} = (W^{l+1})^T \frac{\partial J}{\partial z^{l+1}} \odot \sigma'(z^{l})$$

权重梯度计算公式：
$$\frac{\partial J}{\partial W^{l}} = \frac{\partial J}{\partial z^{l}} (a^{l-1})^T$$

偏置项梯度：
$$\frac{\partial J}{\partial b^{l}} = \sum \frac{\partial J}{\partial z^{l}}$$

import torch
import torch.nn as nn
import torch.optim as optim
from torchvision import datasets, transforms

# 定义带学习率衰减的神经网络
class Net(nn.Module):
    def __init__(self):
        super(Net, self).__init__()
        self.fc1 = nn.Linear(784, 512)
        self.fc2 = nn.Linear(512, 10)

    def forward(self, x):
        x = x.view(-1, 784)  # 展平输入
        x = torch.relu(self.fc1(x))
        return self.fc2(x)

# 自定义学习率衰减策略
def lr_lambda(epoch):
    return 0.95 ** epoch

# 训练流程
model = Net()
optimizer = optim.SGD(model.parameters(), lr=0.1)
scheduler = optim.lr_scheduler.LambdaLR(optimizer, lr_lambda)
criterion = nn.CrossEntropyLoss()

for epoch in range(10):
    for data, target in train_loader:
        optimizer.zero_grad()
        output = model(data)
        loss = criterion(output, target)
        loss.backward()  # BP 反向传播
        # 梯度裁剪
        nn.utils.clip_grad_norm_(model.parameters(), max_norm=1.0)
        optimizer.step()
    scheduler.step()