BiFPN深度学习算法论文解析：从原理到新手实践指南

1次阅读

没有评论

共计 2268 个字符，预计需要花费 6 分钟才能阅读完成。

在目标检测任务中，传统 FPN（Feature Pyramid Network）通过构建特征金字塔来融合不同尺度的特征图，帮助模型同时检测不同大小的目标。然而，FPN 存在几个明显的局限性：

单向信息流 ：FPN 仅从高层特征向低层特征传递信息，缺乏反向的信息流动，导致低层特征的丰富细节信息无法有效利用。
简单的特征相加 ：FPN 在特征融合时仅进行简单的逐元素相加，没有考虑不同尺度特征的重要性差异。
计算冗余 ：FPN 的跨尺度连接结构较为简单，未能充分利用特征间的互补信息。

BiFPN（Bidirectional Feature Pyramid Network）通过引入双向跨尺度连接和加权特征融合机制，有效解决了上述问题。

BiFPN 的核心改进在于其双向信息流动机制（论文第 3.1 节）。与 FPN 的单向信息流不同，BiFPN 允许信息在高层和低层特征之间双向传递。这种设计能够更好地融合不同尺度的特征信息。

数学上，双向跨尺度连接可以表示为：

[P_i^{out} = f(P_i^{in}, P_{i-1}^{out}, P_{i+1}^{out}) ]

其中，(P_i^{in} ) 是输入特征，(P_i^{out} ) 是输出特征，(f) 是特征融合函数。

BiFPN 引入了可学习的权重来调整不同尺度特征的重要性（论文第 3.2 节）。特征融合公式为：

[O = \frac{\sum_i w_i \cdot I_i}{\sum_i w_i + \epsilon} ]

其中，(w_i) 是可学习权重，(I_i) 是输入特征，(\epsilon) 是一个小常数用于数值稳定。

import torch
import torch.nn as nn
import torch.nn.functional as F

class BiFPN(nn.Module):
    def __init__(self, num_features, num_levels=5, epsilon=1e-4):
        super(BiFPN, self).__init__()
        self.num_levels = num_levels
        self.epsilon = epsilon

        # 可学习权重
        self.weights = nn.Parameter(torch.ones(num_levels))

        # 特征融合模块
        self.fusion_conv = nn.ModuleList([nn.Conv2d(num_features, num_features, kernel_size=3, padding=1)
            for _ in range(num_levels)
        ])

def forward(self, features):
    # features: 输入特征列表，按分辨率从高到低排列
    assert len(features) == self.num_levels

    # 加权特征融合
    weights = F.relu(self.weights)
    norm_weights = weights / (torch.sum(weights, dim=0) + self.epsilon)

    # 双向特征融合
    fused_features = []
    for i in range(self.num_levels):
        # 高层特征上采样
        if i > 0:
            up_feat = F.interpolate(features[i-1], size=features[i].shape[2:], mode='nearest')
        else:
            up_feat = 0

        # 低层特征下采样
        if i < self.num_levels - 1:
            down_feat = F.max_pool2d(features[i+1], kernel_size=3, stride=2, padding=1)
        else:
            down_feat = 0

        # 加权融合
        fused = norm_weights[i] * features[i]
        if i > 0:
            fused += norm_weights[i-1] * up_feat
        if i < self.num_levels - 1:
            fused += norm_weights[i+1] * down_feat

        # 卷积处理
        fused = self.fusion_conv[i](fused)
        fused_features.append(fused)

    return fused_features

在 COCO 数据集上的实验结果对比（论文第 4.2 节）：