深度学习三大神经网络详解：从BP神经网络到卷积与循环神经网络的技术演进

1次阅读

共计 2466 个字符，预计需要花费 7 分钟才能阅读完成。

BP 神经网络（Backpropagation Neural Network）作为深度学习的基础，虽然理论上可以拟合任何函数，但在处理图像和时序数据时却面临诸多挑战：

维度灾难：全连接结构导致参数量随输入维度指数增长。例如处理 224×224 的 RGB 图像时，输入层就需要 150,528 个权重。
平移不变性缺失：图像中的物体无论出现在哪个位置都应被识别为同一类别，但 BP 网络需要重新学习每个位置的模式。
时序依赖处理困难：文本、语音等序列数据的前后依赖关系无法通过固定大小的输入窗口完整捕获。

维度	BP 神经网络	CNN(卷积神经网络)	RNN(循环神经网络)
参数量	高(O(n²))	低(共享卷积核)	中等(循环参数复用)
训练效率	慢	快(局部连接)	中等(时序依赖)
特征提取能力	全局特征	局部特征 + 层次抽象	时序模式
适用场景	结构化数据	图像 / 网格数据	序列数据

误差反向传播的矩阵形式推导：

前向传播：$Z^{[l]} = W^{[l]}A^{[l-1]} + b^{[l]}$
激活输出：$A^{[l]} = g^{[l]}(Z^{[l]})$
损失计算：$\mathcal{L} = \frac{1}{m}\sum L(\hat{y},y)$
反向传播：
输出层误差：$dZ^{[L]} = \hat{Y} – Y$
隐藏层误差：$dZ^{[l]} = W^{[l+1]T}dZ^{[l+1]} \odot g’^{[l]}(Z^{[l]})$
参数梯度：$dW^{[l]} = \frac{1}{m}dZ^{[l]}A^{[l-1]T}$

卷积层的两大核心特性：

参数共享：同一个卷积核滑动扫描整张图像，大幅减少参数量
局部连接：每个神经元只响应感受野内的局部区域

LSTM 通过三个门控单元解决梯度消失问题：

遗忘门：$f_t = \sigma(W_f \cdot [h_{t-1}, x_t] + b_f)$
输入门：$i_t = \sigma(W_i \cdot [h_{t-1}, x_t] + b_i)$
输出门：$o_t = \sigma(W_o \cdot [h_{t-1}, x_t] + b_o)$

记忆细胞更新公式：
$C_t = f_t \odot C_{t-1} + i_t \odot \tanh(W_C \cdot [h_{t-1}, x_t] + b_C)$

import torch
import torch.nn as nn
import torch.optim as optim
from torchvision import transforms

# 数据增强策略
train_transform = transforms.Compose([transforms.RandomHorizontalFlip(),  # 水平翻转
    transforms.RandomRotation(15),      # 随机旋转
    transforms.ColorJitter(brightness=0.2), # 颜色扰动
    transforms.ToTensor()])

# 定义 CNN 模型
class SimpleCNN(nn.Module):
    def __init__(self):
        super().__init__()
        self.conv1 = nn.Conv2d(3, 32, kernel_size=3, padding=1)
        self.pool = nn.MaxPool2d(2, 2)
        self.fc = nn.Linear(32*112*112, 10)  # 假设输入 224x224

    def forward(self, x):
        x = self.pool(F.relu(self.conv1(x)))
        x = x.view(-1, 32*112*112)
        return self.fc(x)

# 混合精度训练
scaler = torch.cuda.amp.GradScaler()
for epoch in range(10):
    with torch.cuda.amp.autocast():
        outputs = model(inputs)
        loss = criterion(outputs, labels)
    scaler.scale(loss).backward()
    scaler.step(optimizer)
    scaler.update()

# 截断反向传播(TBPTT)
seq_len = 100  # 截断长度
hidden = None
for i in range(0, input.size(0), seq_len):
    # 截取序列段
    segment = input[i:i+seq_len]

    # 保留最后隐藏状态作为下一段初始状态
    output, hidden = rnn(segment, hidden)

    # 梯度裁剪防止爆炸
    torch.nn.utils.clip_grad_norm_(model.parameters(), 0.5)

    # 只保留非梯度追踪的隐藏状态
    hidden = hidden.detach()

使用可变形卷积 (Deformable Conv) 增强几何变换建模
采用全局平均池化 (GAP) 替代全连接层减少参数量
使用 Label Smoothing 缓解分类过拟合

梯度裁剪阈值设为 0.5-1.0 范围
使用 CuDNN 优化的 LSTM 实现加速训练
对超长序列采用 Hierarchical RNN 结构

现象	可能原因	解决方案
训练损失不下降	学习率过大 / 过小	使用 LR Finder 动态调整
验证集准确率震荡	批次大小不合适	增大 batch size 或使用梯度累积
模型输出全为同一类别	类别不平衡	引入 Focal Loss