CBAM注意力机制与自注意力机制的区别与实现原理

1次阅读

共计 2145 个字符，预计需要花费 6 分钟才能阅读完成。

注意力机制近年来已成为深度学习领域的重要工具，尤其在计算机视觉和自然语言处理任务中表现突出。它的核心思想是让模型能够自动关注输入数据中最重要的部分，从而提高模型的表达能力和性能。在众多注意力机制变体中，CBAM（Convolutional Block Attention Module）和自注意力机制（Self-Attention）是两种广泛应用的技术，但它们的设计理念和应用场景存在显著差异。

自注意力机制最初在 Transformer 模型中被提出，主要用于处理序列数据。它的核心特点是计算输入序列中每个元素与其他所有元素的关系，从而捕捉长距离依赖。

计算复杂度高，通常为 O(n²)
适合处理序列数据，如文本、时间序列
通过查询 (Query)、键(Key) 和值 (Value) 的三元组实现

CBAM 是专门为卷积神经网络设计的注意力模块，包含两个子模块：

通道注意力模块：学习不同特征通道的重要性
空间注意力模块：学习空间位置上不同区域的重要性

CBAM 的主要特点：

计算效率高，适合图像处理
可轻松集成到现有 CNN 架构中
同时考虑了通道和空间两个维度的注意力

以下是用 PyTorch 实现 CBAM 模块的完整代码：

import torch
import torch.nn as nn
import torch.nn.functional as F

class ChannelAttention(nn.Module):
    def __init__(self, in_planes, ratio=16):
        super(ChannelAttention, self).__init__()
        self.avg_pool = nn.AdaptiveAvgPool2d(1)
        self.max_pool = nn.AdaptiveMaxPool2d(1)

        self.fc1 = nn.Conv2d(in_planes, in_planes // ratio, 1, bias=False)
        self.relu1 = nn.ReLU()
        self.fc2 = nn.Conv2d(in_planes // ratio, in_planes, 1, bias=False)

        self.sigmoid = nn.Sigmoid()

    def forward(self, x):
        avg_out = self.fc2(self.relu1(self.fc1(self.avg_pool(x))))
        max_out = self.fc2(self.relu1(self.fc1(self.max_pool(x))))
        out = avg_out + max_out
        return self.sigmoid(out)

class SpatialAttention(nn.Module):
    def __init__(self, kernel_size=7):
        super(SpatialAttention, self).__init__()

        self.conv1 = nn.Conv2d(2, 1, kernel_size, padding=kernel_size//2, bias=False)
        self.sigmoid = nn.Sigmoid()

    def forward(self, x):
        avg_out = torch.mean(x, dim=1, keepdim=True)
        max_out, _ = torch.max(x, dim=1, keepdim=True)
        x = torch.cat([avg_out, max_out], dim=1)
        x = self.conv1(x)
        return self.sigmoid(x)

class CBAM(nn.Module):
    def __init__(self, in_planes, ratio=16, kernel_size=7):
        super(CBAM, self).__init__()
        self.ca = ChannelAttention(in_planes, ratio)
        self.sa = SpatialAttention(kernel_size)

    def forward(self, x):
        x = x * self.ca(x)
        x = x * self.sa(x)
        return x

在多个基准测试中，CBAM 表现出了显著优势：