从零理解bp网络与卷积网络：核心原理与实战对比指南

1次阅读

共计 1755 个字符，预计需要花费 5 分钟才能阅读完成。

很多刚接触深度学习的同学容易把卷积神经网络（CNN）简单理解为「带卷积层的 BP 网络」，这其实忽略了二者在结构设计和数学本质上的根本差异。作为踩过坑的过来人，我总结新手最容易陷入的三大误区：

结构混淆：认为 CNN 只是 BP 网络的变体，忽略局部连接和权值共享的核心特性
场景误用：用全连接网络处理图像等高维数据导致参数爆炸
维度误解：不理解卷积操作对空间特征的保留机制

下面这张对比图直观展示了两种网络的结构差异（图示说明：左为全连接 BP 网络，右为卷积网络局部连接）：

前向传播：
$$ h_l = \sigma(W_l h_{l-1} + b_l) $$
反向传播（链式法则）：
$$ \frac{\partial L}{\partial W_l} = \frac{\partial L}{\partial h_l} \odot \sigma'(z_l) \cdot h_{l-1}^T $$

$\sigma$ 代表 ReLU 激活函数
$W_l$ 是权重矩阵（维度为 $n_{l} \times n_{l-1}$）
参数量随层数指数级增长

卷积层计算（单通道）：
$$ (I * K){ij} = \sum $$}\sum_{n} I_{i+m,j+n}K_{mn

$K$ 是卷积核（如 3×3）
通过局部连接和权值共享，参数量减少为 $k^2 \times C_{out}$
池化层实现平移不变性

class BPNet(nn.Module):
    def __init__(self):
        super().__init__()
        self.fc1 = nn.Linear(784, 512)  # 必须展平 28x28 图像
        self.fc2 = nn.Linear(512, 256)
        self.out = nn.Linear(256, 10)

    def forward(self, x):
        x = x.view(-1, 784)  # 关键展平操作
        x = F.relu(self.fc1(x))
        x = F.relu(self.fc2(x))
        return self.out(x)

# 梯度计算示例（自动微分）optimizer = torch.optim.SGD(model.parameters(), lr=0.01)
loss_func = nn.CrossEntropyLoss()

class CNN(nn.Module):
    def __init__(self):
        super().__init__()
        self.conv1 = nn.Conv2d(1, 32, 3)  # 输入通道, 输出通道, 卷积核
        self.pool = nn.MaxPool2d(2, 2)
        self.fc = nn.Linear(32*13*13, 10)  # 注意计算特征图尺寸

    def forward(self, x):
        x = self.pool(F.relu(self.conv1(x)))  # 保持空间结构
        x = x.view(-1, 32*13*13)  # 最后才展平
        return self.fc(x)