CNN与Transformer结构融合实战：如何解决视觉任务中的长程依赖问题

1次阅读

共计 2095 个字符，预计需要花费 6 分钟才能阅读完成。

在计算机视觉领域，CNN 一直是主流架构，但其局部感受野特性导致长程依赖建模能力不足。根据 CVPR2021《On the Relationship between Self-Attention and Convolutional Layers》的实证研究，传统 CNN 在超过 56×56 像素的远距离关系捕捉中，准确率下降达 17.6%。而纯 Transformer 结构虽然具有全局建模能力，但计算复杂度随图像尺寸呈平方级增长，如 ViT-Base 处理 224×224 输入需要 15.4G FLOPs，是同等精度 ResNet 的 3.2 倍（数据来源：ICLR2022《Scaling Vision Transformers》）。

局部 - 全局协同：使用 CNN 提取底层局部特征，Transformer 捕捉高层全局关系
计算效率平衡：在 Transformer 阶段采用特征图下采样，将 QKV 维度压缩至原 1 /4
多粒度融合：空间注意力聚焦位置关系，通道注意力强化特征维度交互

CNN 骨干：选用 ResNet34 的 stage4 输出（14×14×512）作为 Transformer 输入
轻量化 Attention：
多头注意力头数设为8
Query/Key 维度压缩至64（原 256 的 1 /4）
使用 相对位置偏置 替代绝对位置编码
融合模块：采用 SE 注意力进行通道重标定，配合空间注意力门控

class HybridBlock(nn.Module):
    """可插拔的混合模块，输入输出特征图尺寸不变"""
    def __init__(self, in_channels, reduction_ratio=4):
        super().__init__()
        # CNN 分支
        self.conv = nn.Sequential(nn.Conv2d(in_channels, in_channels//2, 3, padding=1),
            nn.BatchNorm2d(in_channels//2),
            nn.ReLU(inplace=True)
        )
        # Transformer 分支
        self.attn = nn.MultiheadAttention(
            embed_dim=in_channels//2,
            num_heads=8,  # ** 关键参数 **
            kdim=in_channels//reduction_ratio,
            vdim=in_channels//reduction_ratio,
            batch_first=True
        )
        # 融合层
        self.se = nn.Sequential(nn.AdaptiveAvgPool2d(1),
            nn.Conv2d(in_channels, in_channels//16, 1),
            nn.ReLU(),
            nn.Conv2d(in_channels//16, in_channels, 1),
            nn.Sigmoid())

    def forward(self, x):
        cnn_feat = self.conv(x)
        b, c, h, w = cnn_feat.shape
        # 空间序列化
        trans_feat = cnn_feat.flatten(2).permute(0,2,1)
        # 维度压缩投影
        q = trans_feat
        k = v = self.dim_reduce(trans_feat)
        # 注意力计算
        attn_out, _ = self.attn(q, k, v)
        attn_out = attn_out.permute(0,2,1).view(b, c, h, w)
        # 特征融合
        return x * self.se(torch.cat([cnn_feat, attn_out], dim=1))