BP神经网络与前馈神经网络实战对比：如何选择适合的模型架构

1次阅读

共计 2266 个字符，预计需要花费 6 分钟才能阅读完成。

在图像分类任务中，开发者经常面临模型选择的困惑。特别是在处理复杂数据集时，过拟合和梯度消失问题尤为突出。传统的前馈神经网络（FNN）虽然结构简单，但在深层网络中容易出现梯度消失问题；而反向传播神经网络（BPNN）通过引入反向传播机制，在一定程度上缓解了这一问题。然而，选择哪种模型架构往往取决于具体的任务需求和数据特征。

特性	BPNN	FNN
反向传播机制	有	无
隐藏层连接方式	全连接	全连接
参数更新效率	较高（通过链式求导优化）	较低（依赖前向传播）

BPNN 的核心在于链式求导，其数学表达如下：

[\frac{\partial L}{\partial w} = \frac{\partial L}{\partial y} \cdot \frac{\partial y}{\partial w} ]

其中，(L) 是损失函数，(y) 是输出，(w) 是权重。

import torch
import torch.nn as nn
import torch.optim as optim
from torchvision import datasets, transforms

# 数据预处理
transform = transforms.Compose([transforms.ToTensor(),
    transforms.Normalize((0.1307,), (0.3081,))
])

train_dataset = datasets.MNIST('./data', train=True, download=True, transform=transform)
train_loader = torch.utils.data.DataLoader(train_dataset, batch_size=64, shuffle=True)

# BPNN 模型定义
class BPNN(nn.Module):
    def __init__(self):
        super(BPNN, self).__init__()
        self.fc1 = nn.Linear(784, 128)
        self.fc2 = nn.Linear(128, 10)

    def forward(self, x):
        x = x.view(-1, 784)  # Flatten the image
        x = torch.relu(self.fc1(x))
        x = self.fc2(x)
        return x

# FNN 模型定义
class FNN(nn.Module):
    def __init__(self):
        super(FNN, self).__init__()
        self.fc1 = nn.Linear(784, 128)
        self.fc2 = nn.Linear(128, 10)

    def forward(self, x):
        x = x.view(-1, 784)  # Flatten the image
        x = torch.relu(self.fc1(x))
        x = self.fc2(x)
        return x

# 训练循环
def train(model, train_loader, optimizer, criterion, epochs=10):
    model.train()
    for epoch in range(epochs):
        for batch_idx, (data, target) in enumerate(train_loader):
            optimizer.zero_grad()
            output = model(data)
            loss = criterion(output, target)
            loss.backward()
            optimizer.step()

# 初始化模型和优化器
bpnn_model = BPNN()
fnn_model = FNN()
optimizer_bpnn = optim.Adam(bpnn_model.parameters(), lr=0.001)
optimizer_fnn = optim.Adam(fnn_model.parameters(), lr=0.001)
criterion = nn.CrossEntropyLoss()

# 训练模型
train(bpnn_model, train_loader, optimizer_bpnn, criterion)
train(fnn_model, train_loader, optimizer_fnn, criterion)