基于bottom-up预训练特征的高效特征提取方案设计与实践

1次阅读

没有评论

共计 3497 个字符，预计需要花费 9 分钟才能阅读完成。

在目标检测和图像分割任务中，bottom-up 预训练特征（自底向上预训练特征）已成为主流方法。但实际应用中存在三个显著问题：

计算资源消耗大 ：传统的特征金字塔网络(FPN) 需要处理多尺度特征图，导致显存占用和计算量成倍增加。以 ResNet-50 为例，添加 FPN 后训练显存需求增加 40% 以上。
特征冗余度高：相邻层级的特征图存在大量相似响应区域，尤其在背景部分造成无效计算。实验表明约有 35% 的通道在推理时贡献度低于 5%。
跨层级对齐困难：不同尺度的特征图通过简单上采样相加会导致细节信息丢失，在微小物体检测中表现尤为明显（COCO 数据集中小目标 AP 通常比大目标低 15-20%）。

采用通道注意力 (CBAM) 与跨层级特征融合的混合结构，主要包含三个核心组件：

可配置特征金字塔：根据输入分辨率动态生成 P3-P5 特征层（默认 stride 为 8 /16/32）
动态通道加权模块：对每个层级特征进行通道级重要性重标定
双向特征聚合路径：允许高层语义信息向下传播，同时保留底层细节特征

（注：此处应为示意图，显示特征流经 CBAM 模块后进入双向聚合路径的过程）

对输入特征图 $F \in \mathbb{R}^{C×H×W}$ 依次进行：

通道注意力：通过全局平均池化生成通道统计量 $z_c = \frac{1}{HW}\sum_{i,j}F_{c,i,j}$
全连接层学习权重关系 $w_c = \sigma(W_2δ(W_1z_c))$
空间注意力：在通道维度求最大值后卷积生成空间掩膜

采用改进的 PANet 结构，但引入门控机制控制信息流：

# 伪代码示例
def cross_level_fusion(lower, higher):
    # 高层特征上采样
    higher_up = interpolate(higher, scale_factor=2)
    # 动态权重门控
    gate = torch.sigmoid(conv1x1(lower + higher_up))
    # 特征混合
    return lower * gate + higher_up * (1 - gate)

import torch
import torch.nn as nn
import torch.nn.functional as F

class DynamicFPN(nn.Module):
    def __init__(self, in_channels=[256,512,1024], out_channel=256):
        super().__init__()
        # 1. 横向连接层（对齐通道数）self.lateral_convs = nn.ModuleList([nn.Conv2d(ch, out_channel, 1) for ch in in_channels
        ])
        # 2. CBAM 注意力模块
        self.cbam_modules = nn.ModuleList([CBAM(out_channel) for _ in in_channels
        ])
        # 3. 特征融合卷积
        self.fusion_conv = nn.Sequential(nn.Conv2d(out_channel*3, out_channel, 3, padding=1),
            nn.ReLU(inplace=True)
        )

    def forward(self, features):
        # 输入特征维度检查: [P3,P4,P5] with shapes
        # [(B,256,H/8,W/8), (B,512,H/16,W/16), (B,1024,H/32,W/32)]

        # Step1: 通道对齐
        laterals = [conv(feat) for conv, feat in zip(self.lateral_convs, features)]

        # Step2: 应用注意力
        attended = [cbam(x) for cbam, x in zip(self.cbam_modules, laterals)]

        # Step3: 构建金字塔
        # 上采样过程（使用双线性插值保持梯度稳定）p5 = attended[2]
        p4 = F.interpolate(p5, scale_factor=2) + attended[1]
        p3 = F.interpolate(p4, scale_factor=2) + attended[0]

        # Step4: 多尺度特征融合
        p4_resized = F.interpolate(p4, size=p3.shape[2:])
        p5_resized = F.interpolate(p5, size=p3.shape[2:])
        fused = torch.cat([p3, p4_resized, p5_resized], dim=1)

        return self.fusion_conv(fused)

class CBAM(nn.Module):
    """
    通道与空间注意力模块
    输入输出维度不变: (B,C,H,W) -> (B,C,H,W)
    """
    def __init__(self, channels, reduction=16):
        super().__init__()
        # 通道注意力分支
        self.avg_pool = nn.AdaptiveAvgPool2d(1)
        self.max_pool = nn.AdaptiveMaxPool2d(1)
        self.fc = nn.Sequential(nn.Linear(channels, channels // reduction),
            nn.ReLU(),
            nn.Linear(channels // reduction, channels)
        )

        # 空间注意力分支
        self.conv = nn.Conv2d(2, 1, kernel_size=7, padding=3)

    def forward(self, x):
        b, c, _, _ = x.size()

        # 通道注意力
        avg_out = self.fc(self.avg_pool(x).view(b, c))
        max_out = self.fc(self.max_pool(x).view(b, c))
        channel_weights = torch.sigmoid(avg_out + max_out).view(b, c, 1, 1)

        # 空间注意力
        avg_out = torch.mean(x, dim=1, keepdim=True)
        max_out, _ = torch.max(x, dim=1, keepdim=True)
        spatial_weights = torch.sigmoid(self.conv(torch.cat([avg_out, max_out], dim=1))
        )

        return x * channel_weights * spatial_weights

关键代码说明：