深度学习三大神经网络详解：从BP神经网络到卷积与循环神经网络的技术演进

1次阅读

共计 1974 个字符，预计需要花费 5 分钟才能阅读完成。

传统 BP 神经网络作为深度学习的基础，通过全连接结构实现非线性映射。但当处理图像或时序数据时，其局限性凸显：

参数量爆炸 ：输入维度较高时（如 224×224 图像），全连接层参数可达数亿，导致内存不足
特征提取低效 ：忽略图像的局部关联性和平移不变性，需人工设计特征
时序建模困难 ：无法有效处理变长序列数据，缺乏记忆能力

维度	BP 神经网络	CNN	RNN
参数量	O(n²)	O(k²×C)	O(h²)
训练效率	低	中	低
特征提取能力	全局特征	局部特征组合	时序特征
适用场景	结构化数据	图像 / 网格数据	文本 / 语音数据

前向传播公式：
$$\mathbf{h} = \sigma(\mathbf{W}\mathbf{x} + \mathbf{b})$$

反向传播梯度计算（以 MSE 损失为例）：
$$\frac{\partial L}{\partial \mathbf{W}} = \frac{\partial L}{\partial \mathbf{h}} \odot \sigma'(\mathbf{z}) \cdot \mathbf{x}^T$$

卷积核 ：3×3 小窗口滑动扫描，共享同一组参数
池化层 ：最大池化保留显著特征，减少参数

 遗忘门：f_t = σ(W_f·[h_{t-1}, x_t] + b_f)
输入门：i_t = σ(W_i·[h_{t-1}, x_t] + b_i)
输出门：o_t = σ(W_o·[h_{t-1}, x_t] + b_o)

import torch
import torch.nn as nn

class CNN(nn.Module):
    def __init__(self):
        super().__init__()
        self.conv1 = nn.Conv2d(3, 32, kernel_size=3, padding=1)
        self.pool = nn.MaxPool2d(2, 2)
        self.fc = nn.Linear(32*16*16, 10)  # 假设输入为 32x32

    def forward(self, x):
        x = self.pool(F.relu(self.conv1(x)))
        x = x.view(-1, 32*16*16)
        return self.fc(x)

# 数据增强示例
transform = transforms.Compose([transforms.RandomHorizontalFlip(),  # 水平翻转
    transforms.ColorJitter(0.2, 0.2, 0.2)  # 颜色扰动
])

class LSTM(nn.Module):
    def __init__(self, vocab_size, hidden_dim):
        super().__init__()
        self.lstm = nn.LSTM(vocab_size, hidden_dim, batch_first=True)

    def forward(self, x):
        # 实现 TBPTT（每 50 步截断）seq_len = x.size(1)
        for i in range(0, seq_len, 50):
            h, (h_n, c_n) = self.lstm(x[:,i:i+50], (h.detach(), c.detach()))

CNN 优化方案 ：
使用混合精度训练（AMP）减少显存占用
采用渐进式图像分辨率提升策略
RNN 长序列处理 ：
梯度裁剪：torch.nn.utils.clip_grad_norm_(model.parameters(), 5.0)
使用 CuDNN 优化内核

问题现象	检测方法	解决方案
梯度爆炸	参数值超过 1e6	梯度裁剪 /L2 正则
梯度消失	底层权重更新量趋近 0	使用 ReLU/LSTM 结构
过拟合	验证集准确率停滞	增加 Dropout/ 数据增强

尝试将 Attention 机制融入 RNN：

class Attention(nn.Module):
    def __init__(self, hidden_dim):
        super().__init__()
        self.attn = nn.Linear(hidden_dim*2, 1)

    def forward(self, h):
        # h 形状: (seq_len, batch, hidden_dim)
        energy = torch.tanh(self.attn(torch.cat((h, h.mean(0)), dim=2)))
        return F.softmax(energy, dim=1)