基于Denoising FPN与Transformer R-CNN的小目标检测优化方案

1次阅读

共计 1521 个字符，预计需要花费 4 分钟才能阅读完成。

在遥感图像分析、医疗影像诊断等场景中，小目标检测长期面临三大挑战：

分辨率低下：目标可能只占据几个像素，传统卷积核难以捕获有效特征
环境噪声干扰：如卫星云图的大气散射、医疗图像的器械伪影
上下文依赖性强：无人机拍摄的车辆目标可能需要结合道路纹理判断

以 VisDrone 数据集为例，40% 的目标尺寸小于 32×32 像素，现有模型 AP@0.5 普遍低于 30%。

标准 FPN：自上而下的单向融合容易丢失底层细节
PANet：增加自下而上路径，但未处理特征图噪声
我们的改进：在跨尺度连接中加入可学习高斯滤波

class DenoisingBlock(nn.Module):
    def __init__(self, in_channels):
        super().__init__()
        self.conv = nn.Conv2d(in_channels, in_channels, 3, padding=1)
        # 噪声估计分支
        self.noise_mask = nn.Sequential(nn.Conv2d(in_channels, in_channels//4, 1),
            nn.ReLU(),
            nn.Conv2d(in_channels//4, 1, 1),
            nn.Sigmoid()  # 输出 0 - 1 的噪声权重)

    def forward(self, x):
        clean_feat = self.conv(x)
        noise_weight = self.noise_mask(x)
        return clean_feat * noise_weight + x * (1 - noise_weight)

特性	Faster R-CNN	Transformer R-CNN
区域特征提取	RoI Pooling	Deformable Attention
上下文建模	固定感受野	动态关系建模
计算复杂度	O(N)	O(N^2)

graph TD
    A[Backbone 特征图] --> B[生成 Query]
    A --> C[生成 Key-Value]
    B --> D[注意力权重计算]
    C --> D
    D --> E[加权特征聚合]

经过 200 epoch 训练后，关键指标对比：

AP@0.5：从基线模型 28.7% 提升至 41.2%
小目标召回率：对 <32px 目标提升 23.5%
推理速度：在 RTX 3090 上达到 18.3 FPS

内存消耗优化技巧：

使用梯度检查点技术减少显存占用 30%
混合精度训练加速 1.8 倍
动态缩放输入分辨率（800-1333px）

学习率预热：前 1000 迭代从 1e- 6 线性增加到 1e-4
Anchor 设计 ：建议采用[8,16,32] 的基础尺寸，纵横比[0.5,1,2]

# ONNX 导出特殊处理
torch.onnx.export(
    model,
    dummy_input,
    "model.onnx",
    opset_version=11,  # 必须≥11 支持 DeformableConv
    dynamic_axes={'input': {0: 'batch'}, 'output': {0: 'batch'}}
)