深入解析BiFPN融合P2小目标检测层结构图：从原理到实践

1次阅读

没有评论

共计 1698 个字符，预计需要花费 5 分钟才能阅读完成。

在目标检测任务中，小目标检测一直是一个技术难点。当目标尺寸较小时，传统检测方法往往表现不佳，主要原因包括：

小目标在图像中所占像素较少，特征信息不足
经过多次下采样后，小目标的特征可能完全丢失
现有特征金字塔网络（FPN）在特征融合时对小目标的关注不足

BiFPN（双向特征金字塔网络）相比传统 FPN 和 PANet 有以下优势：

双向特征融合：同时进行自上而下和自下而上的特征融合
加权特征连接：为不同分辨率的特征分配不同权重
更高效的计算：删除了只有单一输入的节点

BiFPN 融合 P2 层的结构设计特别针对小目标检测进行了优化：

P2 层保留最高分辨率特征，对小目标检测至关重要
多尺度特征融合机制：
自上而下路径融合高层语义信息
自下而上路径增强低层细节信息
加权特征连接使网络可以自适应地学习不同分辨率特征的重要性

import torch
import torch.nn as nn
import torch.nn.functional as F

class BiFPNLayer(nn.Module):
    def __init__(self, feature_size=256):
        super(BiFPNLayer, self).__init__()
        self.conv6_up = nn.Conv2d(feature_size, feature_size, 1)
        self.conv5_up = nn.Conv2d(feature_size, feature_size, 1)
        self.conv4_up = nn.Conv2d(feature_size, feature_size, 1)
        self.conv3_up = nn.Conv2d(feature_size, feature_size, 1)

        # 权重参数，用于加权特征融合
        self.w1 = nn.Parameter(torch.ones(2))
        self.w2 = nn.Parameter(torch.ones(3))

    def forward(self, inputs):
        # inputs: [P3, P4, P5, P6, P7]
        P3, P4, P5, P6, P7 = inputs

        # 自上而下路径
        P7_up = self.conv6_up(P7)
        P6_up = self.conv5_up(P6)
        P5_up = self.conv4_up(P5)
        P4_up = self.conv3_up(P4)

        # 加权特征融合
        w1 = F.relu(self.w1)
        w2 = F.relu(self.w2)

        # 归一化权重
        weight_sum1 = w1.sum()
        weight_sum2 = w2.sum()

        # 特征融合
        P6_td = (w1[0] * P6_up + w1[1] * F.interpolate(P7_up, scale_factor=2)) / weight_sum1
        P5_td = (w2[0] * P5_up + w2[1] * F.interpolate(P6_td, scale_factor=2) + w2[2] * P5) / weight_sum2

        # 返回融合后的特征
        return P3, P4, P5_td, P6_td, P7_up

我们在 COCO 数据集上进行了对比实验，结果如下：