CBAM Transformer 架构解析：如何通过注意力机制优化视觉任务性能

1次阅读

没有评论

共计 2318 个字符，预计需要花费 6 分钟才能阅读完成。

在计算机视觉领域，卷积神经网络（CNN）长期以来都是主流架构。但随着任务复杂度的提升，传统 CNN 逐渐暴露出两个明显短板：

特征权重分配固化 ：卷积核在训练完成后，对不同区域和通道的响应是固定的，无法根据输入内容动态调整
长距离依赖捕捉困难 ：随着网络加深，局部感受野难以建立像素间的全局关系

这就像用固定参数的放大镜观察图像——无论看什么内容，放大倍数和焦点位置都不变。而人类视觉系统会主动聚焦关键区域，这正是注意力机制（Attention Mechanism）的核心思想。

CBAM（Convolutional Block Attention Module）通过级联的通道注意力和空间注意力，实现了特征图的动态校准。其工作流程可分为两个阶段：

对输入特征图分别进行全局平均池化和最大池化，得到两个 1×1×C 的向量
通过共享权重的 MLP 生成通道注意力权重
将两个权重向量相加后经 Sigmoid 激活

class ChannelAttention(nn.Module):
    def __init__(self, in_planes, ratio=16):
        super().__init__()
        self.avg_pool = nn.AdaptiveAvgPool2d(1)
        self.max_pool = nn.AdaptiveMaxPool2d(1)

        self.fc = nn.Sequential(nn.Conv2d(in_planes, in_planes//ratio, 1, bias=False),
            nn.ReLU(),
            nn.Conv2d(in_planes//ratio, in_planes, 1, bias=False)
        )
        self.sigmoid = nn.Sigmoid()

    def forward(self, x):
        avg_out = self.fc(self.avg_pool(x))
        max_out = self.fc(self.max_pool(x))
        return self.sigmoid(avg_out + max_out)

沿通道维度进行平均池化和最大池化，得到两个 H×W×1 的特征图
拼接后通过 7×7 卷积生成空间注意力图

class SpatialAttention(nn.Module):
    def __init__(self, kernel_size=7):
        super().__init__()
        self.conv = nn.Conv2d(2, 1, kernel_size, padding=kernel_size//2)
        self.sigmoid = nn.Sigmoid()

    def forward(self, x):
        avg_out = torch.mean(x, dim=1, keepdim=True)
        max_out = torch.max(x, dim=1, keepdim=True)[0]
        x = torch.cat([avg_out, max_out], dim=1)
        x = self.conv(x)
        return self.sigmoid(x)

将两个注意力模块串联，形成完整的 CBAM 模块。推荐将其插入 CNN 的每个基础块之后：

class CBAM(nn.Module):
    def __init__(self, channels, ratio=16, kernel_size=7):
        super().__init__()
        self.ca = ChannelAttention(channels, ratio)
        self.sa = SpatialAttention(kernel_size)

    def forward(self, x):
        x = x * self.ca(x)  # 通道注意力校准
        x = x * self.sa(x)  # 空间注意力校准
        return x

在 ImageNet-1k 上的测试结果表明：