共计 1698 个字符，预计需要花费 5 分钟才能阅读完成。
开篇：深度学习三巨头的时代印记
回顾深度学习发展史，CNN（卷积神经网络）、RNN/LSTM（循环神经网络 / 长短期记忆网络）和 GAN（生成对抗网络）分别代表了计算机视觉、序列建模和生成模型的里程碑。它们的流行时间线大致如下：
-
2012-2015 年：CNN 的黄金时代
AlexNet 在 2012 年 ImageNet 竞赛中一战成名，带动了 CNN 在图像领域的统治地位 -
2014-2017 年：RNN/LSTM 的序列王朝
随着自然语言处理需求爆发，LSTM 成为处理文本、语音等序列数据的首选 -
2016 年至今：GAN 的生成革命
GAN 及其变种开启了生成式 AI 的新纪元，尤其在图像生成领域表现惊艳
一、CNN：图像世界的统治者
核心原理
CNN 通过卷积核在图像上滑动计算局部特征，其核心设计思想包括：
- 局部感受野 ：每个神经元只关注输入的一小部分区域
- 权重共享 ：相同卷积核在整个图像上重复使用
- 池化操作 ：逐步降低空间分辨率保持主要特征
结构示意图
Input -> [Conv+ReLU] -> Pool -> [Conv+ReLU] -> Pool -> FC -> Output优势与局限
- 优势 ：
- 平移不变性：物体在图像中的位置变化不影响识别
- 参数效率：共享权重大幅减少参数量
-
层次化特征：浅层捕捉边缘，深层识别语义
-
局限 ：
- 难以建模长距离依赖（超过感受野范围）
- 对时序数据处理能力弱
- 需要大量标注数据
二、RNN/LSTM：记忆大师的进化
RNN 的困境
传统 RNN 通过隐藏状态传递历史信息，但面临：
- 梯度消失 ：长序列中早期信息难以传递
- 短期记忆 ：只能记住有限步历史
LSTM 的解决方案
通过三道门控机制（输入门、遗忘门、输出门）实现：
- 选择性记忆 ：决定哪些信息需要保留
- 长期依赖 ：细胞状态像传送带贯穿时间
- 梯度保护 ：避免连乘导致的梯度消失
结构对比
传统 RNN：h_t = tanh(W*x_t + U*h_{t-1} + b)
LSTM 单元：[输入门] → ⊗
[遗忘门] → ⊗ → [细胞状态] → [输出门] → h_t
↗︎ ↖︎
x_t h_{t-1}三、GAN：左右互搏的艺术
对抗训练思想
包含两个相互博弈的组件：
- 生成器 (G)：学习生成逼真数据
- 判别器 (D)：区分真实与生成数据
突破性优势
- 无监督学习 ：不需要标注数据
- 数据分布学习 ：能捕捉复杂分布
- 创造力 ：生成前所未见的内容
典型结构
噪声 z → 生成器 G → 生成样本
↘︎
真实样本 → 判别器 D → 真 / 假判断 技术对比表
| 特性 | CNN | RNN/LSTM | GAN |
|---|---|---|---|
| 擅长领域 | 图像识别 | 序列建模 | 数据生成 |
| 计算效率 | 高 | 中等 | 低 |
| 训练稳定性 | 稳定 | 中等 | 不稳定 |
| 数据需求 | 大量标注 | 中等标注 | 无标注 |
| 主要缺陷 | 时序处理弱 | 并行性差 | 模式坍塌 |
实践指南
CNN 图像分类示例 (PyTorch)
import torch.nn as nn
class SimpleCNN(nn.Module):
def __init__(self):
super().__init__()
self.conv1 = nn.Conv2d(3, 16, 3) # 3 通道输入,16 个 3x3 卷积核
self.pool = nn.MaxPool2d(2, 2)
self.fc = nn.Linear(16*16*16, 10) # 假设经过两次池化后的尺寸
def forward(self, x):
x = self.pool(F.relu(self.conv1(x)))
x = x.view(-1, 16*16*16)
return self.fc(x)LSTM 文本生成避坑
- 梯度裁剪 ：防止梯度爆炸
torch.nn.utils.clip_grad_norm_(model.parameters(), 0.5) - 温度参数 ：控制生成多样性
probs = F.softmax(logits / temperature, dim=-1)
开放思考
在 Transformer 一统江湖的今天，这些经典架构仍然有其不可替代的价值：
- CNN：轻量级视觉任务的性价比之选
- LSTM：资源受限场景的序列建模方案
- GAN：艺术创作领域的独特优势
建议在 Colab 上设计对比实验：
1. 用 CNN 和 Transformer 分别训练 CIFAR-10
2. 比较 LSTM 和 Transformer 在文本生成的效果
3. 尝试将 GAN 与扩散模型生成质量对比
这些经典架构就像深度学习世界的基石，理解它们能帮助我们更好地把握 AI 技术的发展脉络。
正文完
