CNN与Transformer结合：从架构设计到实战优化

1次阅读

共计 2155 个字符，预计需要花费 6 分钟才能阅读完成。

在计算机视觉领域，CNN 和 Transformer 各自有着明显的优势和不足。传统的 CNN 架构虽然在局部特征提取上表现出色，但在处理长距离依赖关系时存在局限性。这是因为 CNN 的感受野受限于卷积核的大小，随着网络层数的增加，感受野虽然会扩大，但仍然难以捕获全局的上下文信息。

另一方面，纯 Transformer 架构虽然在自然语言处理中表现出色，但在图像任务中，由于缺乏对局部结构的显式建模，往往需要更多的训练数据和计算资源才能达到与 CNN 相当的性能。此外，Transformer 的自注意力机制计算复杂度与输入尺寸的平方成正比，这在高分辨率图像处理中会带来巨大的计算开销。

以下是几种典型视觉模型的对比：

模型类型	参数量 (M)	FLOPs(G)	Top-1 Acc(%)	测试条件
ResNet-50	25.5	4.1	76.1	224×224, V100 32GB
ViT-B/16	86.4	17.6	77.9	224×224, V100 32GB
ConvNeXt-T	28.6	4.5	82.1	224×224, V100 32GB
Hybrid-ViT	45.2	9.8	83.5	224×224, V100 32GB

从表中可以看出，混合架构在准确率和计算效率之间取得了较好的平衡。

混合架构主要有三种实现方式：

串行结构 ：先用 CNN 提取低级特征，然后输入 Transformer 处理全局关系
并行结构 ：CNN 和 Transformer 分支并行处理，最后融合特征
注意力增强 ：在 CNN 中嵌入注意力模块，如 CBAM、SE 等

以下是一个简单的串行混合模型实现：

import torch
import torch.nn as nn
from timm.models.vision_transformer import Block

class HybridViT(nn.Module):
    def __init__(self, img_size=224, patch_size=16, embed_dim=768):
        super().__init__()
        # CNN 特征提取部分
        self.cnn_backbone = nn.Sequential(nn.Conv2d(3, 64, kernel_size=7, stride=2, padding=3),
            nn.BatchNorm2d(64),
            nn.ReLU(),
            nn.MaxPool2d(kernel_size=3, stride=2, padding=1),
            # 更多卷积层...
        )

        # 将 CNN 特征转换到 Transformer 输入
        self.patch_embed = nn.Conv2d(
            in_channels=256,  # CNN 输出的通道数
            out_channels=embed_dim,
            kernel_size=patch_size,
            stride=patch_size
        )

        # Transformer 部分
        num_heads = embed_dim // 64
        self.blocks = nn.Sequential(*[Block(embed_dim, num_heads) for _ in range(12)
        ])

        # 分类头
        self.head = nn.Linear(embed_dim, 1000)

    def forward(self, x):
        # CNN 特征提取
        cnn_features = self.cnn_backbone(x)

        # 转换为 Transformer 输入
        x = self.patch_embed(cnn_features)
        B, C, H, W = x.shape
        x = x.flatten(2).transpose(1, 2)  # [B, H*W, C]

        # Transformer 处理
        x = self.blocks(x)

        # 全局平均池化
        x = x.mean(dim=1)

        # 分类
        return self.head(x)

混合模型的显存占用主要受以下因素影响：

输入分辨率：显存需求与图像尺寸的平方成正比
Transformer 层数：每增加一层，显存需求线性增加
Batch size：直接影响显存占用

优化建议：

使用梯度累积：将大 batch 拆分为多个小 batch，累积梯度后再更新
混合精度训练：使用 torch.cuda.amp 自动混合精度
激活检查点：在 Transformer 块中使用 checkpoint 技术

位置编码不匹配 ：当 CNN 下采样率与 Transformer patch 大小不一致时，会导致位置编码错位。解决方案是确保 CNN 最终特征图尺寸与 Transformer 输入匹配。
归一化层冲突 ：CNN 常用 BatchNorm，而 Transformer 常用 LayerNorm。混合架构中建议统一使用 LayerNorm，避免训练不稳定。
学习率设置不当 ：CNN 和 Transformer 部分可能需要不同的学习率。可以使用参数分组，为不同部分设置不同的学习率。