共计 2415 个字符，预计需要花费 7 分钟才能阅读完成。

背景痛点

在传统计算机视觉任务中，top-down 特征提取方法（如 VGG、早期 ResNet）存在明显的局限性：

• 高层特征虽然具有丰富的语义信息，但空间分辨率低，难以精确定位物体细节
• 在细粒度分类（fine-grained classification）、实例分割（instance segmentation）等任务中，缺乏对局部特征的敏感度
• 特征金字塔（Feature Pyramid）的构建通常通过上采样实现，导致小物体特征信息丢失严重

技术对比

核心实现

特征金字塔网络实现

import torch
import torch.nn as nn
from torchvision.models import resnet50

class BottomUpFPN(nn.Module):
    def __init__(self, backbone='resnet50'):
        super().__init__()
        # 骨干网络选择
        if backbone == 'resnet50':
            self.backbone = resnet50(pretrained=True)

        # 横向连接层（1x1 卷积用于通道调整）self.lateral_conv1 = nn.Conv2d(2048, 256, 1)
        self.lateral_conv2 = nn.Conv2d(1024, 256, 1)
        self.lateral_conv3 = nn.Conv2d(512, 256, 1)

        # 特征融合卷积
        self.fusion_conv = nn.Conv2d(256, 256, 3, padding=1)

    def forward(self, x):
        # 获取不同层级的特征图
        x = self.backbone.conv1(x)
        x = self.backbone.bn1(x)
        x = self.backbone.relu(x)
        x = self.backbone.maxpool(x)

        c2 = self.backbone.layer1(x)  # 1/ 4 尺度
        c3 = self.backbone.layer2(c2) # 1/ 8 尺度
        c4 = self.backbone.layer3(c3) # 1/16 尺度
        c5 = self.backbone.layer4(c4) # 1/32 尺度

        # Bottom-up 路径构建
        p5 = self.lateral_conv1(c5)
        p4 = self.lateral_conv2(c4) + nn.Upsample(scale_factor=2)(p5)
        p3 = self.lateral_conv3(c3) + nn.Upsample(scale_factor=2)(p4)

        # 特征融合
        p3 = self.fusion_conv(p3)
        p4 = self.fusion_conv(p4)
        p5 = self.fusion_conv(p5)

        return [p3, p4, p5]  # 多尺度特征输出 

维度压缩技巧

1. 使用 1 ×1 卷积进行通道降维：

   # 将 2048 维特征压缩到 256 维
   self.reduce_conv = nn.Conv2d(2048, 256, 1)

2. 分组卷积（group convolution）减少计算量：

   # 使用 4 组卷积
   self.group_conv = nn.Conv2d(256, 256, 3, padding=1, groups=4)

性能考量

显存占用测试

金字塔层级影响

避坑指南

小样本训练陷阱

• 特征归一化问题：当训练样本少于 1000 时，建议：
• 使用预训练的 BatchNorm 参数（设置 requires_grad=False）

• 或者替换为 GroupNorm（不受 batch size 影响）

• 学习率调整策略：

  # 分层学习率设置
  optimizer = torch.optim.SGD([{'params': model.backbone.parameters(), 'lr': 0.001},
      {'params': model.fpn.parameters(), 'lr': 0.01}
  ], momentum=0.9)

梯度爆炸预防

1. 特征融合时添加残差连接：

   p4 = self.lateral_conv2(c4) + 0.5*nn.Upsample(scale_factor=2)(p5)

2. 使用梯度裁剪（gradient clipping）：

   torch.nn.utils.clip_grad_norm_(model.parameters(), max_norm=2.0)

延伸思考

半监督学习应用

1. 基于 bottom-up 特征的伪标签生成：
2. 利用高分辨率特征图生成精细的物体边界

3. 对低置信度区域进行特征空间聚类

4. 一致性正则化：

   # 对同一图像的不同增强版本提取特征
   feat1 = model(augment1(img))
   feat2 = model(augment2(img))
   loss = mse_loss(feat1, feat2.detach())

AB 测试任务设计

1. 对比实验：
2. 任务 A：仅使用 C5 特征（top-down）
3. 任务 B：使用 P3-P5 特征（bottom-up）

4. 指标：在小物体（面积 <32×32 像素）上的 AP 值

5. 消融实验：

6. 移除横向连接（lateral connection）
7. 替换上采样方式（最近邻 vs 双线性）

总结

bottom-up 预训练特征通过保留低层高分辨率信息，结合高层语义特征，在细粒度视觉任务中展现出显著优势。实现时需要注意显存优化和小样本适应性问题，通过合理的层级设计和特征融合策略可以平衡精度与效率。这种特征提取范式也为半监督学习等扩展应用提供了新的可能性。