CBAM神经网络入门指南：从原理到实战避坑

1次阅读

共计 2308 个字符，预计需要花费 6 分钟才能阅读完成。

传统 CNN 通过堆叠卷积层提取特征，但存在两个明显缺陷：

平等对待所有通道：卷积核对所有输入通道一视同仁，无法区分重要特征
忽略空间相关性：标准卷积操作难以捕捉长距离依赖关系

这导致模型对噪声敏感，且难以聚焦关键区域。注意力机制通过动态分配权重，让网络学会 ” 看哪里 ” 和 ” 看什么 ”，这正是 CBAM 的核心价值。

主流注意力模块性能对比（输入尺寸 224×224）：

模块类型	FLOPs(G)	参数量(M)	特点
SE	0.004	0.002	仅通道注意力
CBAM	0.005	0.003	通道 + 空间双注意力
DANet	0.237	2.36	位置注意力 + 通道注意力

测试环境：PyTorch 1.8, Tesla V100

数学原理：

$$\begin{aligned}
M_c(F) &= \sigma(MLP(AvgPool(F)) + MLP(MaxPool(F))) \
&= \sigma(W_1(W_0(F_{avg}^c)) + W_1(W_0(F_{max}^c)))
\end{aligned}$$

PyTorch 实现：

class ChannelAttention(nn.Module):
    def __init__(self, in_planes, ratio=16):
        super().__init__()
        # 共享 MLP 结构（节省参数）self.mlp = nn.Sequential(nn.Linear(in_planes, in_planes // ratio),
            nn.ReLU(),
            nn.Linear(in_planes // ratio, in_planes)
        )

    def forward(self, x):
        # x 形状: [B, C, H, W]
        avg_out = self.mlp(x.mean([2, 3]))  # [B, C] -> [B, C/r] -> [B, C]
        max_out = self.mlp(x.amax([2, 3]))  # 改用 amax 避免警告
        return torch.sigmoid(avg_out + max_out).unsqueeze(-1).unsqueeze(-1)  # 恢复 4D

数学原理：

$$M_s(F) = \sigma(f^{7×7}([AvgPool(F); MaxPool(F)]))$$

PyTorch 实现：

class SpatialAttention(nn.Module):
    def __init__(self, kernel_size=7):
        super().__init__()
        self.conv = nn.Conv2d(2, 1, kernel_size, padding=kernel_size//2)

    def forward(self, x):
        # x 形状: [B, C, H, W]
        avg_out = x.mean(dim=1, keepdim=True)  # [B, 1, H, W]
        max_out = x.amax(dim=1, keepdim=True)
        concat = torch.cat([avg_out, max_out], dim=1)  # [B, 2, H, W]
        return torch.sigmoid(self.conv(concat))

在 ResNet18 中嵌入 CBAM 模块：

class CBAM_ResBlock(nn.Module):
    def __init__(self, in_channels):
        super().__init__()
        self.conv1 = nn.Conv2d(in_channels, in_channels, 3, padding=1)
        self.bn1 = nn.BatchNorm2d(in_channels)
        self.ca = ChannelAttention(in_channels)
        self.sa = SpatialAttention()

    def forward(self, x):
        residual = x
        out = F.relu(self.bn1(self.conv1(x)))
        out = self.ca(out) * out  # 通道注意力
        out = self.sa(out) * out  # 空间注意力
        return F.relu(out + residual)

# 测试代码
model = CBAM_ResBlock(64)
x = torch.randn(32, 64, 56, 56)
print(model(x).shape)  # 应保持输入维度

在 CIFAR-10 上的表现对比：

模型	准确率(%)	训练时间(epoch)
ResNet18	92.3	25
ResNet18+CBAM	93.7	28

训练条件：RTX 3060, batch_size=128, Adam 优化器

维度不匹配问题
错误现象：RuntimeError: The size of tensor a (64) must match the size of tensor b (32)
解决方案：确保通道注意力输出维度与输入一致，使用 unsqueeze 恢复维度
池化方式选择错误
错误现象：空间注意力效果不明显
解决方案：同时使用平均池化和最大池化（实验表明二者互补）
梯度消失问题
错误现象：训练早期准确率不上升
解决方案：在残差连接前初始化 CBAM 模块权重为接近 0 的小值