深入解析CBAM卷积注意力网络结构图：原理、实现与优化

1次阅读

共计 2302 个字符，预计需要花费 6 分钟才能阅读完成。

CBAM（Convolutional Block Attention Module）是由 Sanghyun Woo 等人在 2018 年提出的轻量级注意力模块，它的核心思想是通过结合通道注意力和空间注意力机制，让网络能够自适应地关注特征图中最重要的部分。在计算机视觉任务中，CBAM 可以显著提升模型的性能，同时几乎不增加计算开销。

CBAM 的提出背景源于传统卷积神经网络（CNN）在处理图像时存在的一个问题：它们对所有位置和通道的特征都一视同仁，缺乏对重要信息的聚焦能力。CBAM 通过引入注意力机制，让网络能够自动学习哪些通道和空间位置更重要，从而提升模型的表征能力。

CBAM 由两个子模块组成：通道注意力模块（Channel Attention Module, CAM）和空间注意力模块（Spatial Attention Module, SAM）。这两个模块按顺序应用，形成一个完整的注意力机制。

通道注意力模块的目的是学习每个通道的重要性权重。它的结构如下：

对输入特征图进行全局平均池化和全局最大池化，得到两个不同的通道描述符
将这两个描述符分别送入一个共享的多层感知机（MLP）
将 MLP 的输出相加，通过 sigmoid 激活函数生成通道注意力权重
将权重与原始特征图相乘，得到通道注意力增强后的特征图

空间注意力模块的目的是学习每个空间位置的重要性权重。它的结构如下：

沿着通道维度对特征图进行平均池化和最大池化，得到两个不同的空间描述符
将这两个描述符在通道维度上拼接
通过一个 7×7 的卷积层和 sigmoid 激活函数生成空间注意力权重
将权重与原始特征图相乘，得到空间注意力增强后的特征图

以下是 CBAM 模块的 PyTorch 实现代码：

import torch
import torch.nn as nn

class ChannelAttention(nn.Module):
    def __init__(self, in_channels, reduction_ratio=16):
        super(ChannelAttention, self).__init__()
        self.avg_pool = nn.AdaptiveAvgPool2d(1)
        self.max_pool = nn.AdaptiveMaxPool2d(1)

        self.fc = nn.Sequential(nn.Linear(in_channels, in_channels // reduction_ratio),
            nn.ReLU(inplace=True),
            nn.Linear(in_channels // reduction_ratio, in_channels)
        )
        self.sigmoid = nn.Sigmoid()

    def forward(self, x):
        avg_out = self.fc(self.avg_pool(x).view(x.size(0), -1))
        max_out = self.fc(self.max_pool(x).view(x.size(0), -1))
        out = avg_out + max_out
        return self.sigmoid(out).unsqueeze(2).unsqueeze(3)

class SpatialAttention(nn.Module):
    def __init__(self, kernel_size=7):
        super(SpatialAttention, self).__init__()

        self.conv = nn.Conv2d(2, 1, kernel_size, padding=kernel_size//2)
        self.sigmoid = nn.Sigmoid()

    def forward(self, x):
        avg_out = torch.mean(x, dim=1, keepdim=True)
        max_out, _ = torch.max(x, dim=1, keepdim=True)
        out = torch.cat([avg_out, max_out], dim=1)
        out = self.conv(out)
        return self.sigmoid(out)

class CBAM(nn.Module):
    def __init__(self, in_channels, reduction_ratio=16, kernel_size=7):
        super(CBAM, self).__init__()
        self.ca = ChannelAttention(in_channels, reduction_ratio)
        self.sa = SpatialAttention(kernel_size)

    def forward(self, x):
        x = x * self.ca(x)
        x = x * self.sa(x)
        return x

在实际应用中，CBAM 模块的性能优化可以从以下几个方面考虑：