CNN与Transformer结构对比：从原理到实战入门指南

1次阅读

共计 2379 个字符，预计需要花费 6 分钟才能阅读完成。

在深度学习的计算机视觉（CV）和自然语言处理（NLP）领域，CNN（卷积神经网络）和 Transformer 已经成为两大基石模型。CNN 通过其局部连接和权重共享的特性，在图像处理中表现出色；而 Transformer 凭借自注意力机制（Self-Attention），在序列建模任务中取得了突破性进展。

许多初学者在面对具体任务时，常常困惑于该选择哪种架构。本文将从原理对比、代码实现到实战调优，带你全面理解这两种结构的差异与应用场景。

CNN的计算复杂度通常为 O(k×k×C_in×C_out×H×W)，其中 k 是卷积核大小，C 是通道数，H/ W 是特征图尺寸。典型的 3×3 卷积在空间上是局部计算。
Transformer的复杂度为 O(n²×d)，其中 n 是序列长度，d 是特征维度。当处理高分辨率图像时（n=H×W），计算量会急剧增加。

CNN的卷积核只能看到输入数据的局部区域（receptive field），高层特征通过堆叠逐步获得全局信息：
```
y_{i,j} = \sum_{a,b=-k}^{k} w_{a,b} \cdot x_{i+a,j+b}
```
Transformer的 Self-Attention 机制可以直接建模任意两个位置的关系：
```
Attention(Q,K,V) = softmax(\frac{QK^T}{\sqrt{d_k}})V
```

CNN通过滑动窗口隐式编码位置信息，具有平移等变性（translation equivariance）
Transformer需要显式添加位置编码（Positional Encoding），常用正弦函数：
```
PE_{(pos,2i)} = sin(pos/10000^{2i/d_{model}})
```

import torch.nn as nn

class SimpleCNN(nn.Module):
    def __init__(self, num_classes=10):
        super().__init__()
        self.features = nn.Sequential(
            # 卷积核选择 3x3 是平衡感受野和计算量的常用选择
            nn.Conv2d(3, 64, kernel_size=3, padding=1),  # 保持分辨率
            nn.ReLU(inplace=True),
            nn.MaxPool2d(2, 2),  # 下采样
            # 后续层类似结构逐步增加通道数...
        )
        self.classifier = nn.Linear(64 * 8 * 8, num_classes)

    def forward(self, x):
        x = self.features(x)
        x = torch.flatten(x, 1)
        return self.classifier(x)

class TransformerEncoderLayer(nn.Module):
    def __init__(self, d_model=512, nhead=8):
        super().__init__()
        self.self_attn = nn.MultiheadAttention(d_model, nhead)
        self.linear1 = nn.Linear(d_model, d_model*4)  # FeedForward 扩展
        self.norm1 = nn.LayerNorm(d_model)

    def forward(self, src):
        # 残差连接 (residual connection) 保持梯度流动
        src2 = self.self_attn(src, src, src)[0]
        src = src + self.norm1(src2)
        return src

训练速度：
CNN 完成 100 epoch 约需 15 分钟（RTX 3090）
Transformer 同配置下需要约 45 分钟

内存占用 测量代码：

torch.cuda.reset_peak_memory_stats()
output = model(inputs)
print(f"Max memory: {torch.cuda.max_memory_allocated()/1024**2:.2f} MB")

Transformer 训练稳定性：
初始学习率建议设在 1e- 4 到 5e- 5 之间
配合 warmup 策略（如 4000 步线性增长）
CNN 的 padding 选择：
padding=\'same\' 会保持输入输出尺寸一致
但可能引入虚假边缘信息，需配合 ZeroPadding2d 使用
混合精度训练：

需使用 GradScaler 防止梯度下溢

scaler = torch.cuda.amp.GradScaler()
with torch.cuda.amp.autocast():
    outputs = model(inputs)
    loss = criterion(outputs, labels)
scaler.scale(loss).backward()
scaler.step(optimizer)