BP神经网络与卷积神经网络(CNN)核心技术对比与实战指南

1次阅读

没有评论

共计 2338 个字符，预计需要花费 6 分钟才能阅读完成。

在深度学习领域，BP 神经网络和卷积神经网络 (CNN) 是两种基础但强大的模型架构。本文将从技术原理、实现代码和实战经验三个维度，带大家深入了解它们的差异和应用场景。

BP 神经网络作为最基础的前馈神经网络，通过全连接的方式处理输入数据。但在图像处理任务中，这种全连接方式会带来明显的维度灾难问题：

假设处理一张 28×28 的灰度图像，输入层就需要 784 个神经元
若隐藏层有 1000 个神经元，仅这一层就需要 784,000 个权重参数
参数量爆炸导致训练速度慢、容易过拟合

相比之下，CNN 通过局部感知和权值共享机制，完美解决了这个问题：

卷积核只在局部区域滑动，大幅减少参数量
同一卷积核在不同位置共享权重，进一步提升效率
池化操作降低了空间维度，保留关键特征

对比维度	BP 神经网络	CNN
参数量	全连接，参数量巨大	局部连接，参数量大幅减少
训练速度	较慢	较快
特征提取能力	需人工设计特征	自动提取多层次特征
空间信息保留	丢失	通过卷积保留
适用场景	结构化数据	图像、视频等网格化数据

import torch
import torch.nn as nn

class BPNet(nn.Module):
    def __init__(self):
        super(BPNet, self).__init__()
        self.fc1 = nn.Linear(784, 512)  # 输入层到隐藏层
        self.fc2 = nn.Linear(512, 256)  # 隐藏层到隐藏层
        self.fc3 = nn.Linear(256, 10)   # 隐藏层到输出层
        self.relu = nn.ReLU()

    def forward(self, x):
        x = x.view(-1, 784)  # 展平输入
        x = self.relu(self.fc1(x))
        x = self.relu(self.fc2(x))
        x = self.fc3(x)
        return x

class LeNet5(nn.Module):
    def __init__(self):
        super(LeNet5, self).__init__()
        self.conv1 = nn.Conv2d(1, 6, 5)  # 1 输入通道，6 输出通道，5x5 卷积核
        self.conv2 = nn.Conv2d(6, 16, 5)
        self.fc1 = nn.Linear(16*4*4, 120)  # 全连接层
        self.fc2 = nn.Linear(120, 84)
        self.fc3 = nn.Linear(84, 10)
        self.pool = nn.MaxPool2d(2, 2)    # 2x2 最大池化

    def forward(self, x):
        x = self.pool(torch.relu(self.conv1(x)))  # 28x28 -> 24x24 -> 12x12
        x = self.pool(torch.relu(self.conv2(x)))  # 12x12 -> 8x8 -> 4x4
        x = x.view(-1, 16*4*4)  # 展平
        x = torch.relu(self.fc1(x))
        x = torch.relu(self.fc2(x))
        x = self.fc3(x)
        return x

在 MNIST 测试集上的表现：

模型	参数量	准确率	训练时间(epoch=10)
BP 网络	669K	97.2%	3 分 12 秒
LeNet-5	60K	98.7%	1 分 45 秒

较大的 batch size 能提高训练稳定性，但会增加显存占用
建议公式：max_batch_size = 可用显存 / 单个样本显存占用
可使用梯度累积技术模拟大 batch

对于深层网络，可以引入残差连接(residual connection)：

class ResidualBlock(nn.Module):
    def __init__(self, in_channels):
        super().__init__()
        self.conv1 = nn.Conv2d(in_channels, in_channels, 3, padding=1)
        self.conv2 = nn.Conv2d(in_channels, in_channels, 3, padding=1)

    def forward(self, x):
        residual = x
        x = torch.relu(self.conv1(x))
        x = self.conv2(x)
        x += residual  # 残差连接
        return torch.relu(x)

常见尺寸：3×3、5×5、7×7
经验公式：kernel_size ≈ √(感受野)
小尺寸卷积堆叠效果优于大卷积核

推荐使用余弦退火(CosineAnnealingLR)：

from torch.optim.lr_scheduler import CosineAnnealingLR

optimizer = torch.optim.SGD(model.parameters(), lr=0.1)
scheduler = CosineAnnealingLR(optimizer, T_max=10)  # 10 个 epoch 周期

尝试将 LeNet- 5 应用到 CIFAR-10 数据集，注意：