CBAM注意力机制与自注意力机制的区别与实现详解

1次阅读

共计 2193 个字符，预计需要花费 6 分钟才能阅读完成。

刚接触注意力机制时，很容易混淆 CBAM 和 Self-Attention。简单来说：

CBAM 是给卷积神经网络用的 ” 眼部聚焦镜 ”，能同时关注 ” 哪里重要 ”（空间注意力）和 ” 什么特征重要 ”（通道注意力）
Self-Attention 是 Transformer 的 ” 关系分析器 ”，专门处理序列数据中各元素间的关联性

举个形象的例子：当你看一张猫的照片时，CBAM 会先判断 ” 猫的头部区域比背景重要 ”（空间注意力），再确定 ” 胡须特征比毛色更重要 ”（通道注意力）；而 Self-Attention 更适合分析 ” 这只猫的尾巴姿态和头部朝向的关系 ” 这种序列关联。

CBAM 的核心是两个顺序执行的注意力模块：

通道注意力 （Channel Attention）
$$M_c(F) = \sigma(MLP(AvgPool(F)) + MLP(MaxPool(F)))$$
先对 feature map 同时做平均池化和最大池化
通过共享权重的 MLP 生成通道权重
用 sigmoid 归一化到 0 - 1 之间
空间注意力 （Spatial Attention）
$$M_s(F) = \sigma(f^{7×7}([AvgPool(F); MaxPool(F)]))$$
沿通道维度拼接平均池化和最大池化结果
用 7×7 卷积生成空间权重图

对比经典的 Scaled Dot-Product Attention：
$$Attention(Q,K,V) = softmax(\frac{QK^T}{\sqrt{d_k}})V$$
– Q/K/ V 分别来自同一输入的不同线性变换
– 通过点积计算序列元素间的相关性

import torch
import torch.nn as nn

class CBAM(nn.Module):
    def __init__(self, channels, reduction_ratio=16):
        super(CBAM, self).__init__()
        # 通道注意力分支
        self.avg_pool = nn.AdaptiveAvgPool2d(1)
        self.max_pool = nn.AdaptiveMaxPool2d(1)
        self.mlp = nn.Sequential(nn.Linear(channels, channels // reduction_ratio),
            nn.ReLU(),
            nn.Linear(channels // reduction_ratio, channels)
        )

        # 空间注意力分支
        self.conv = nn.Conv2d(2, 1, kernel_size=7, padding=3)
        self.sigmoid = nn.Sigmoid()

    def forward(self, x):
        # 通道注意力
        avg_out = self.mlp(self.avg_pool(x).squeeze())
        max_out = self.mlp(self.max_pool(x).squeeze())
        channel_att = self.sigmoid(avg_out + max_out).unsqueeze(2).unsqueeze(3)
        x = x * channel_att

        # 空间注意力
        avg_out = torch.mean(x, dim=1, keepdim=True)
        max_out, _ = torch.max(x, dim=1, keepdim=True)
        spatial_att = torch.cat([avg_out, max_out], dim=1)
        spatial_att = self.sigmoid(self.conv(spatial_att))
        return x * spatial_att

嵌入 ResNet 的示例：

def forward(self, x):
    residual = x
    out = self.conv1(x)
    out = self.bn1(out)
    out = self.relu(out)

    # 在残差块之后添加 CBAM
    out = self.cbam(out)

    out += residual
    return out