CNN与Transformer结合实战：从模型架构到代码实现

1次阅读

共计 1574 个字符，预计需要花费 4 分钟才能阅读完成。

在计算机视觉任务中，CNN 和 Transformer 各有优缺点。CNN 通过局部感受野和权值共享高效提取局部特征，但对长距离依赖建模能力有限。而 Transformer 虽然擅长捕捉全局关系，但在处理高分辨率图像时计算复杂度会急剧上升（复杂度与图像尺寸平方成正比）。

CNN 的局限：传统 CNN 通过堆叠卷积层逐步扩大感受野，但需要很深网络才能建立长距离依赖，容易导致梯度消失 / 爆炸问题
Transformer 的瓶颈：标准的 Vision Transformer 需要将图像分割为 16×16 的 patch，输入序列长度仍较长，自注意力计算消耗大量内存

主流混合架构可分为三类：

CNN 为主 +Attention 增强（如 CBAM）
优势：保持 CNN 计算效率，在关键位置加入注意力模块
不足：全局建模能力提升有限
Transformer 为主 +CNN 辅助（如 Convolutional Transformer）
优势：用卷积替代部分注意力计算降低复杂度
不足：需要精心设计卷积与注意力的配合方式
并行混合架构（如 CoAtNet）
优势：同时发挥 CNN 的局部建模和 Transformer 的全局建模能力
不足：结构复杂，训练难度大

下面用 PyTorch 实现一个简单但有效的混合模型（完整代码见附录）：

class HybridModel(nn.Module):
    def __init__(self, num_classes=10):
        super().__init__()
        # CNN 特征提取器（输出 14x14 特征图）self.cnn = nn.Sequential(nn.Conv2d(3, 64, 3, stride=1, padding=1),
            nn.BatchNorm2d(64),
            nn.ReLU(),
            nn.MaxPool2d(2)
        )

        # 位置编码（关键！将空间信息引入 Transformer）self.pos_embed = nn.Parameter(torch.randn(1, 196, 64))

        # Transformer 编码器
        encoder_layer = nn.TransformerEncoderLayer(d_model=64, nhead=8, dim_feedforward=256)
        self.transformer = nn.TransformerEncoder(encoder_layer, num_layers=3)

        # 分类头
        self.head = nn.Linear(64, num_classes)

关键设计点说明：