从零实现bp神经网络与卷积神经网络分类MNIST数据集实验：原理对比与性能优化

1次阅读

共计 2268 个字符，预计需要花费 6 分钟才能阅读完成。

MNIST 手写数字数据集包含 60,000 张训练图像和 10,000 张测试图像，每张为 28×28 像素的灰度图。作为计算机视觉领域的 ”Hello World”，其技术价值体现在：

低维度输入（784 个特征）适合验证模型基础能力
类别平衡（10 类均匀分布）简化了评估流程
清晰的背景 - 前景对比降低了预处理难度

结构特点：每个神经元与相邻层所有神经元相连
输入层：784 个神经元（对应图像展平向量）
隐藏层：典型配置为 256-128 神经元
输出层：10 个神经元（Softmax 激活）
参数量计算：
$$
P_{BP} = 784×256 + 256×128 + 128×10 = 235,520
$$
计算复杂度：
$$
O(n^2) \text{（随神经元数量平方增长）}
$$

结构特点：局部连接 + 权重共享
卷积层：3×3 卷积核提取空间特征
池化层：2×2 最大池化降低维度
全连接层：最终分类决策
参数量计算（示例架构）：
$$
P_{CNN} = (3×3×1×32) + (3×3×32×64) + 64×128 + 128×10 = 93,834
$$
计算优势：
$$
O(k^2×C_{in}×C_{out}) \text{（k 为卷积核尺寸）}
$$

import torch
from torchvision import transforms

transform = transforms.Compose([transforms.ToTensor(),
    transforms.Normalize((0.1307,), (0.3081,))  # MNIST 均值标准差
])

class BPNet(torch.nn.Module):
    def __init__(self):
        super().__init__()
        self.fc1 = torch.nn.Linear(784, 256)  # 特征展开层
        self.fc2 = torch.nn.Linear(256, 128) 
        self.out = torch.nn.Linear(128, 10)

    def forward(self, x):
        x = x.view(-1, 784)  # 展平图像
        x = torch.relu(self.fc1(x))
        x = torch.relu(self.fc2(x))
        return torch.log_softmax(self.out(x), dim=1)

class CNN(torch.nn.Module):
    def __init__(self):
        super().__init__()
        self.conv1 = torch.nn.Conv2d(1, 32, 3)  # 输入通道 / 输出通道 / 核大小
        self.conv2 = torch.nn.Conv2d(32, 64, 3)
        self.fc = torch.nn.Linear(1600, 10)  # 64*(28-4)/2^2=1600

    def forward(self, x):
        x = torch.max_pool2d(torch.relu(self.conv1(x)), 2)
        x = torch.max_pool2d(torch.relu(self.conv2(x)), 2)
        x = x.view(x.size(0), -1)
        return torch.log_softmax(self.fc(x), dim=1)

def train(model, device, train_loader, optimizer, epoch):
    model.train()
    for batch_idx, (data, target) in enumerate(train_loader):
        data, target = data.to(device), target.to(device)
        optimizer.zero_grad()
        output = model(data)
        loss = torch.nn.functional.nll_loss(output, target)
        loss.backward()
        optimizer.step()