BiFPN深度学习算法论文解析：多尺度特征融合的优化实践

1次阅读

没有评论

共计 1892 个字符，预计需要花费 5 分钟才能阅读完成。

在目标检测和图像分割任务中，多尺度特征融合是提升模型性能的关键技术。传统的特征金字塔网络（FPN）通过自顶向下路径融合多尺度特征，但仍存在明显的局限性：

计算冗余：FPN 的单向信息流动导致浅层特征缺乏高层语义指导，需重复计算
特征表达能力不足：固定权重融合策略无法适应不同尺度特征的重要性差异
跨尺度连接缺失：相邻层级间缺乏双向交互，限制了上下文信息传递

BiFPN（Bidirectional Feature Pyramid Network）通过三方面创新解决上述问题：

引入自底向上和自顶向下的双向信息流，形成闭环特征融合
删减原始 FPN 中贡献小的节点（如 EfficientDet 论文中的 P3/P7 节点）

添加跨层级跳跃连接，公式表示为：

P_{out} = Conv(w1·P_{in} + w2·Resize(P_{prev}) + w3·Resize(P_{next}))

采用快速归一化权重学习（Fast Normalized Fusion）：
```
w_i = e^{λ_i} / (∑_j e^{λ_j} + ε)
```
权重参数 λ 通过反向传播自动优化，ε=0.0001 防止数值不稳定

共享同一 BiFPN 层的权重参数
使用深度可分离卷积替代常规卷积
采用通道注意力机制动态分配计算资源

以下是 PyTorch 实现的核心模块：

import torch
import torch.nn as nn
import torch.nn.functional as F

class BiFPNLayer(nn.Module):
    def __init__(self, channels, epsilon=1e-4):
        super().__init__()
        self.epsilon = epsilon
        self.conv = nn.Sequential(nn.Conv2d(channels, channels, 3, padding=1, groups=channels),
            nn.BatchNorm2d(channels),
            nn.SiLU())
        self.weights = nn.ParameterList([nn.Parameter(torch.ones(2)) for _ in range(3)  # 对应 3 组融合权重
        ])

    def forward(self, inputs):
        # 输入为 [P3, P4, P5] 多尺度特征
        p3, p4, p5 = inputs

        # 自顶向下路径
        w = F.softmax(self.weights[0], dim=0)
        p4_up = F.interpolate(p5, scale_factor=2, mode='nearest')
        p4_merge = w[0] * p4 + w[1] * p4_up
        p4_out = self.conv(p4_merge)

        # 自底向上路径
        w = F.softmax(self.weights[1], dim=0)
        p4_down = F.avg_pool2d(p3, kernel_size=2)
        p4_merge = w[0] * p4 + w[1] * p4_down
        p4_out = p4_out + self.conv(p4_merge)

        # 跨尺度融合
        w = F.softmax(self.weights[2], dim=0)
        p3_down = F.avg_pool2d(p4_out, kernel_size=2)
        p5_up = F.interpolate(p4_out, scale_factor=2, mode='nearest')
        p3_out = w[0] * p3 + w[1] * p3_down
        p5_out = w[0] * p5 + w[1] * p5_up

        return [self.conv(p3_out), p4_out, self.conv(p5_out)]

在 COCO 2017 验证集上的实验结果：