基于Swin Transformer与CBAM增强的YOLO混合感知模型实战：从算法设计到性能优化

1次阅读

共计 2222 个字符，预计需要花费 6 分钟才能阅读完成。

在计算机视觉领域，目标检测一直是一个核心任务。然而，传统方法在实际应用中仍然面临诸多挑战。首先是小目标识别问题，由于小目标在图像中占据的像素较少，CNN 的局部感受野难以捕捉其有效特征，导致漏检率居高不下。其次，多尺度目标适应能力弱，现有模型往往需要在速度和精度之间做出妥协，无法同时兼顾不同尺寸目标的检测需求。

这些痛点在实际工业场景中尤为明显。例如在自动驾驶领域，远距离的车辆或行人可能只占图像的几十个像素；在安防监控中，密集人群下的小目标检测更是难题。传统 YOLO 系列虽然保持了高效的检测速度，但在这些复杂场景下的表现仍有提升空间。

Swin Transformer 通过引入窗口注意力机制，在保持计算效率的同时实现了全局建模能力。与 CNN 的局部卷积操作相比，其优势主要体现在：

跨窗口连接允许信息在更大范围内流动，解决了传统 CNN 感受野受限的问题
层次化的特征图下采样方式更自然地适应多尺度目标
对长距离依赖关系的建模能力显著提升

不过，纯 Transformer 架构在细粒度特征提取上仍略逊于 CNN，这正是我们保留 YOLO 底层 CNN 结构的原因。

CBAM（Convolutional Block Attention Module）通过双重注意力机制（通道 + 空间）实现了特征的精炼：

通道注意力学习各特征通道的重要性权重，公式表示为：
$$Mc(F) = \sigma(MLP(AvgPool(F)) + MLP(MaxPool(F)))$$
空间注意力则聚焦于特征图的关键区域：
$$Ms(F) = \sigma(f^{7×7}([AvgPool(F); MaxPool(F)]))$$

这种双重注意力机制与 Swin Transformer 的全局感知形成互补，特别适合处理存在遮挡或背景复杂的场景。

整体架构采用三级融合设计：

骨干网络：YOLOv5 的 CSPDarknet53 作为基础特征提取器
中间层：Swin Transformer Block 处理 stage3 和 stage4 的特征
检测头：融入 CBAM 模块的 PANet 特征金字塔

特征流向为：输入图像→CSPDarknet53→SwinT Block→CBAM-PANet→检测头。这种设计在保持 YOLO 实时性的同时，通过 SwinT 获取全局上下文，CBAM 则进一步强化关键特征。

class CBAMEnhancedHead(nn.Module):
    def __init__(self, in_channels):
        super().__init__()
        self.channel_attention = nn.Sequential(nn.AdaptiveAvgPool2d(1),
            nn.Conv2d(in_channels, in_channels//8, 1),
            nn.ReLU(),
            nn.Conv2d(in_channels//8, in_channels, 1),
            nn.Sigmoid())
        self.spatial_attention = nn.Sequential(nn.Conv2d(2, 1, 7, padding=3),
            nn.Sigmoid())

    def forward(self, x):
        # Channel attention
        ca = self.channel_attention(x)
        x = x * ca

        # Spatial attention
        sa_avg = torch.mean(x, dim=1, keepdim=True)
        sa_max, _ = torch.max(x, dim=1, keepdim=True)
        sa = torch.cat([sa_avg, sa_max], dim=1)
        sa = self.spatial_attention(sa)
        return x * sa

针对小目标检测，我们改进了 Mosaic 增强：