基于Cityscapes数据集的目标检测实战：从数据预处理到模型优化

共计 2526 个字符，预计需要花费 7 分钟才能阅读完成。

Cityscapes 数据集的独特挑战

Cityscapes 作为自动驾驶领域最重要的基准数据集之一，其 5,000 张精细标注的城市街景图像（2,975 训练 +500 验证 +1,525 测试）包含以下典型挑战：

• 高遮挡率：19.3% 的物体存在部分遮挡（统计自验证集）
• 类别不平衡 ：35 类物体中，road 像素占比达 31.5%，而 traffic light 仅 0.2%
• 多尺度问题：同一图像中同时存在近处的大物体（如公交车）和远处的小物体（如行人）

模型架构选型对比

测试环境：RTX 3090, PyTorch 1.10, 输入分辨率 1024×2048

关键技术实现

1. 街景专用数据增强

class CityscapesMixUp:
    def __init__(self, p=0.5, alpha=0.8):
        """
        p: 应用概率
        alpha: Beta 分布参数，控制混合强度
        """
        self.p = p
        self.beta = torch.distributions.Beta(alpha, alpha)

    def __call__(self, img1, target1, img2, target2):
        if random.random() > self.p:
            return img1, target1

        lam = self.beta.sample().item()
        mixed_img = lam * img1 + (1 - lam) * img2

        # 合并标注时要特别处理重叠框
        mixed_target = self._merge_annotations(target1, target2, lam)
        return mixed_img, mixed_target

2. 多尺度特征金字塔改进

在标准 FPN 基础上增加：

1. 跨层特征聚合（P2 到 P5 级联）
2. 可变形卷积替换常规卷积（DCNv2）
3. 针对小目标的 P6 输出层

3. 遮挡感知注意力机制

class OcclusionAwareAttention(nn.Module):
    def __init__(self, in_channels, ratio=4):
        super().__init__()
        self.channel_att = nn.Sequential(nn.Linear(in_channels, in_channels//ratio),
            nn.ReLU(),
            nn.Linear(in_channels//ratio, in_channels)
        )
        self.spatial_att = nn.Conv2d(2, 1, kernel_size=7, padding=3)

    def forward(self, x):
        # 通道注意力关注被遮挡特征
        avg_pool = torch.mean(x, dim=[2,3])
        channel_att = torch.sigmoid(self.channel_att(avg_pool))

        # 空间注意力定位遮挡区域
        max_pool = torch.max(x, dim=1)[0].unsqueeze(1)
        spatial_att = torch.sigmoid(self.spatial_att(torch.cat([avg_pool, max_pool], dim=1)
        ))

        return x * channel_att.unsqueeze(-1).unsqueeze(-1) * spatial_att

生产环境优化方案

TensorRT 部署关键配置

# FP16 量化配置示例
config = builder.create_builder_config()
config.set_flag(trt.BuilderFlag.FP16)
config.set_memory_pool_limit(trt.MemoryPoolType.WORKSPACE, 2 << 30)

# 动态 shape 处理（应对不同分辨率输入）profile = builder.create_optimization_profile()
profile.set_shape("input", (1,3,512,1024), (1,3,1024,2048), (1,3,1536,3072))
config.add_optimization_profile(profile)

测试时增强 (TTA) 效果

生产环境避坑指南

标注错误检测脚本

def detect_annotation_errors(coco):
    errors = []
    for img_id in coco.getImgIds():
        anns = coco.loadAnns(coco.getAnnIds(imgIds=img_id))

        # 检查超出图像边界的框
        img_info = coco.loadImgs(img_id)[0]
        for ann in anns:
            if ann['bbox'][0] < 0 or ann['bbox'][1] < 0 or \
               (ann['bbox'][0]+ann['bbox'][2]) > img_info['width'] or \
               (ann['bbox'][1]+ann['bbox'][3]) > img_info['height']:
                errors.append((img_id, ann['id']))

        # 检查面积异常的标注（小于 5 像素或大于图像 50%）img_area = img_info['width'] * img_info['height']
        ...
    return errors

内存泄漏排查方案

1. 使用 OpenCV 时务必检查：
2. 是否忘记调用cv2.destroyAllWindows()
3. 循环中是否持续创建cv2.VideoWriter

4. 是否误用 cv2.UMat 未释放

5. PyTorch 内存诊断工具：

   torch.cuda.memory_summary(device=None, abbreviated=False)

开放性问题

如何设计动态采样策略应对雨雪等极端天气？考虑方向：

1. 基于天气分类器的课程学习
2. 困难样本挖掘与重加权
3. 域自适应数据增强

欢迎在评论区分享你的解决方案