CNN与Transformer结合：从架构设计到实战优化

1次阅读

共计 1830 个字符，预计需要花费 5 分钟才能阅读完成。

计算机视觉领域长期面临一个核心矛盾：CNN 擅长捕捉局部特征但难以建模长距离依赖，而 Transformer 虽能建立全局关系却对局部细节不敏感。具体表现为：

纯 CNN（如 ResNet）的局限性：
感受野受卷积核尺寸限制
深层网络存在特征退化
对图像全局语义理解不足
纯 Transformer（如 ViT）的短板：
需要大量数据预训练
低分辨率下局部特征丢失
计算复杂度随序列长度平方增长

模型类型	参数量 (M)	FLOPs(G)	ImageNet Top-1(%)	训练数据需求
ResNet-50	25.5	4.1	76.1	中等
ViT-Base	86.4	17.6	77.9	极大
ConvNeXt-Tiny	28.6	4.5	82.1	中等
Swin-Tiny	29.0	4.5	81.2	较大

测试环境：V100 32GB, 224×224 输入

CNN 与 Transformer 分支同步处理特征
通过特征相加 / 拼接融合结果
优势：保留两种特征的独立性

CNN 作为低级特征提取器
Transformer 进行高级语义建模
典型配置：4CNN 层 +12Transformer 层

在 CNN 中替换部分卷积为注意力
常用方案：将最后阶段的 3 ×3 卷积改为 MHSA
计算量增加约 15%，准确率提升 2 -3%

import torch
from torch import nn

class HybridBlock(nn.Module):
    """
    混合 CNN-Transformer 基础模块
    输入: [B, C, H, W]
    输出: [B, C, H, W]
    """
    def __init__(self, dim=256, heads=4):
        super().__init__()
        # CNN 分支（深度可分离卷积）self.conv = nn.Sequential(nn.Conv2d(dim, dim, 3, padding=1, groups=dim),
            nn.Conv2d(dim, dim, 1),
            nn.GELU())

        # Transformer 分支
        self.norm = nn.LayerNorm(dim)
        self.attn = nn.MultiheadAttention(dim, heads)

    def forward(self, x):
        B, C, H, W = x.shape
        # CNN 路径
        conv_out = self.conv(x)

        # Transformer 路径
        flattened = x.flatten(2).permute(2, 0, 1)  # [HW, B, C]
        attn_out = self.attn(*[self.norm(flattened)]*3)[0]
        attn_out = attn_out.permute(1, 2, 0).view(B, C, H, W)

        return conv_out + 0.5 * attn_out  # 加权融合

输入分辨率与显存消耗的关系（V100 32GB）：
224×224: ~8GB
384×384: ~18GB
512×512: OOM 风险

optimizer.zero_grad()
for i, (x, y) in enumerate(dataloader):
    pred = model(x)
    loss = criterion(pred, y) / accumulation_steps
    loss.backward()

    if (i+1) % accumulation_steps == 0:
        optimizer.step()
        optimizer.zero_grad()