基于BiFPN融合P2层的小目标检测优化方案与结构图解析

1次阅读

共计 2172 个字符，预计需要花费 6 分钟才能阅读完成。

小目标检测在实际应用中（如监控、遥感）常面临两大核心问题：

特征丢失问题 ：传统下采样操作导致小目标的像素信息在高层特征图中几乎消失。例如在 8×下采样后，10×10 像素的目标仅剩 1 - 2 个有效特征点
定位精度不足 ：FPN 等自上而下结构虽然传递了语义信息，但低层特征缺乏足够的上下文指导，导致定位框抖动（如图 1 的虚线框所示）

传统方法的局限性对比：

FPN：单向特征融合导致低层特征缺乏高层语义
PANet：双向但平等对待所有特征层，未考虑不同尺度的贡献差异
原始 BiFPN：默认从 P3 开始构建金字塔，丢失了最细粒度的 P2 层信息

graph TD
    P2[P2:160×160] -->|1×1 Conv| B1
    P3[P3:80×80] --> B1
    P4[P4:40×40] --> B1
    B1[BiFPN Block1] -->|Weighted Add| P2_out
    B1 -->|Downsample| P3_out
    P3_out --> B2[BiFPN Block2]
    P4 --> B2
    P5[P5:20×20] --> B2

采用快速归一化融合（Fast Normalized Fusion）公式：

$$ O = \sum_i \frac{w_i}{\epsilon + \sum_j w_j} \cdot I_i $$

实现时需注意：

权重 $w_i$ 初始化为 1.0 的可学习参数
添加微小量 $\epsilon=0.0001$ 防止除零
对 Resize 后的特征进行逐通道加权

class BiFPN_Block(nn.Module):
    def __init__(self, in_channels, depthwise=True):
        super().__init__()
        # 深度分离卷积配置
        conv = nn.Conv2d if not depthwise else 
               partial(Conv2dDW, activation=nn.SiLU())

        # 跨尺度特征权重（学习不同分辨率的重要性）self.weights = nn.Parameter(torch.ones(3))  # P2/P3/P4 三路权重

        # 特征变换层
        self.p2_conv = conv(in_channels, 256, 1)
        self.p3_conv = conv(in_channels, 256, 1)
        self.p4_conv = conv(in_channels, 256, 1)

    def forward(self, p2, p3, p4):
        # 特征对齐（双线性插值比转置卷积更节省显存）p3_resized = F.interpolate(p3, scale_factor=2, mode='bilinear')
        p4_resized = F.interpolate(p4, scale_factor=4, mode='bilinear')

        # 加权融合（稳定数值计算）weights = F.relu(self.weights)
        norm_weights = weights / (weights.sum() + 1e-4)

        fused = norm_weights[0] * self.p2_conv(p2) + \
                norm_weights[1] * self.p3_conv(p3_resized) + \
                norm_weights[2] * self.p4_conv(p4_resized)
        return fused

def draw_heatmap(feats, img):
    """
    feats: 待可视化的特征图 [1,256,H,W]
    img: 原始图像 [H,W,3]
    """
    # 取前三个通道作为伪彩色
    vis_feat = feats[0, :3].permute(1,2,0).cpu().numpy()
    vis_feat = (vis_feat - vis_feat.min()) / (vis_feat.max() - vis_feat.min())

    # 叠加显示
    heatmap = cv2.applyColorMap((vis_feat*255).astype(np.uint8), cv2.COLORMAP_JET)
    overlay = cv2.addWeighted(img, 0.5, heatmap, 0.5, 0)
    return overlay