深度学习三大神经网络详解：从BP到CNN/RNN的实战对比与优化指南

1次阅读

共计 1930 个字符，预计需要花费 5 分钟才能阅读完成。

神经网络已成为计算机视觉和自然语言处理的核心工具，能够自动学习数据中的复杂特征表示。从图像分类到机器翻译，不同类型的神经网络架构针对特定任务展现出独特优势。本文将深入解析 BP、CNN 和 RNN 三大经典网络的设计哲学与实战差异。

前向传播公式：
$$y = \sigma(Wx + b)$$
反向传播权重更新（链式法则）：
$$\frac{\partial L}{\partial W} = \frac{\partial L}{\partial y} \cdot \sigma'(Wx+b) \cdot x^T$$

卷积层特征图计算（2D 情况）：
$$F(i,j) = \sum_{m}\sum_{n} I(i+m,j+n) \cdot K(m,n)$$
池化层梯度传递（以 Max Pooling 为例）：
$$\frac{\partial L}{\partial I_{ij}} = \begin{cases}
\frac{\partial L}{\partial P_{mn}} & \text{if} I_{ij}=\max(I_{region}) \
0 & \text{otherwise}
\end{cases}$$

时间步 $t$ 的隐状态计算：
$$h_t = \tanh(W_{hh}h_{t-1} + W_{xh}x_t + b_h)$$
BPTT 梯度计算（需考虑时间维度）：
$$\frac{\partial L}{\partial W} = \sum_{t=1}^T \frac{\partial L_t}{\partial W}$$

# Python 3.8 + torch==1.12.1
transform = transforms.Compose([transforms.ToTensor(),
    transforms.Normalize((0.5,), (0.5,))  # MNIST 灰度图单通道
])

train_set = datasets.MNIST(root='./data', 
                          train=True,
                          download=True,
                          transform=transform)

train_loader = DataLoader(train_set, 
                         batch_size=64,
                         shuffle=True)

class CNN(nn.Module):
    def __init__(self):
        super().__init__()
        self.conv1 = nn.Conv2d(1, 32, 3)  # [B,1,28,28] -> [B,32,26,26]
        self.pool = nn.MaxPool2d(2, 2)    # [B,32,26,26] -> [B,32,13,13]
        self.fc1 = nn.Linear(32*13*13, 10)

    def forward(self, x):
        x = F.relu(self.conv1(x))
        x = self.pool(x)
        x = torch.flatten(x, 1)  # 保持 batch 维度
        return self.fc1(x)