基于Denoising FPN与Transformer R-CNN的小目标检测实战指南

共计 1929 个字符，预计需要花费 5 分钟才能阅读完成。

背景痛点：为什么小目标检测这么难？

在实际应用中，小目标检测面临着诸多挑战。以无人机巡检为例，高空拍摄时车辆、行人等目标可能仅占图像的 10×10 像素；医学影像中早期病灶往往只有几个像素点。传统方法如 Faster R-CNN 存在明显局限：

• 特征丢失问题 ：经过多次下采样后，小目标在特征图上可能完全消失
• 定位不准 ：小目标对边界框偏移极其敏感，传统 IoU 匹配策略容易失效
• 背景干扰 ：复杂背景下小目标信噪比低，如图 1 中无人机拍摄的树林区域

核心技术方案解析

Denoising FPN：给特征金字塔做降噪

传统 FPN 在特征融合时会引入噪声，我们通过可学习高斯核进行抑制：

1. 噪声分析层 ：对每个金字塔层级 $P_i$ 计算噪声分布 $N_i=Conv_{1×1}(P_i)$
2. 动态滤波 ：采用分离式高斯核 $G_i=exp(-\frac{(x^2+y^2)}{2σ_i^2})$，其中 $σ_i$ 可学习
3. 残差连接 ：最终输出 $P_i^{clean} = P_i ⊙ G_i + P_i$

Transformer R-CNN：全局视角增强小目标

在 RoI Pooling 后增加 Transformer 模块：

• Cross-Attention 设计 ：

  # 输入维度: [N, 256, 7, 7] 
  query = roi_features.flatten(2)  # [N, 256, 49]
  key = value = backbone_feats  # [H*W, C]
  attn = (query @ key.T) / √d_k  # 缩放点积注意力 

• 位置编码 ：采用可学习的相对位置编码，解决小目标位置敏感问题

完整代码实现

核心模块搭建

class DenoisingFPN(nn.Module):
    def __init__(self, in_channels_list, out_channels):
        super().__init__()
        self.inner_blocks = nn.ModuleList()
        self.layer_blocks = nn.ModuleList()
        self.noise_kernels = nn.ParameterList()  # 存储可学习 σ 参数

        for in_channels in in_channels_list:
            self.inner_blocks.append(nn.Conv2d(in_channels, out_channels, 1))
            self.layer_blocks.append(nn.Conv2d(out_channels, out_channels, 3, padding=1))
            self.noise_kernels.append(nn.Parameter(torch.tensor(1.0)))  # 初始化 σ

    def gaussian_kernel(self, size, sigma):
        coords = torch.arange(size).float() - size//2
        g = torch.exp(-(coords**2) / (2 * sigma**2))
        return g / g.sum()

训练关键配置

data:
  train_scale: [1024, 1024]  # 过小的输入尺寸会丢失目标
  test_scale: [1333, 800]

model:
  anchor_sizes: [[8, 16, 32]]  # 专门针对小目标的 anchor 设置
  transformer:
    num_heads: 8
    ffn_dim: 2048

实验对比结果

在 VisDrone 验证集上的表现：

避坑经验分享

1. Anchor 尺寸设置 ：
2. 根据数据集统计目标分布，建议使用 K -means 聚类确定

3. 示例：VisDrone 中 80% 目标小于 32px，故设置 8 -32px 的 anchor

4. 混合精度训练 ：

   scaler = GradScaler()  # 必需搭配 AMP 使用
   with autocast():
       loss = model(inputs)
   scaler.scale(loss).backward()
   scaler.step(optimizer)
   scaler.update()

5. ONNX 导出 ：

6. 自定义 RoI Align 需注册符号函数
7. 建议将后处理分离导出

未来改进方向

1. 动态标签分配 ：
2. 根据目标尺度动态调整正负样本阈值

3. 参考：ATSS、PAA 等先进策略

4. 蒸馏学习应用 ：

5. 用大模型指导小模型学习小目标特征
6. 特别适合无人机端侧部署场景

结语

经过实际项目验证，这套方案在工业质检场景中将漏检率降低了 62%。虽然 Transformer 模块会增加计算开销，但对于关键任务中的小目标检测，精度提升带来的价值往往更为重要。建议读者先从 VisDrone 数据集入手实验，再迁移到自己的业务场景中。