Cityscapes目标检测数据集实战指南：从数据预处理到模型训练全流程解析

共计 3664 个字符，预计需要花费 10 分钟才能阅读完成。

背景与痛点

Cityscapes 是自动驾驶领域最常用的目标检测数据集之一，包含 5000 张精细标注的城市街景图像（2975 训练，500 验证，1525 测试），涵盖 30 类常见物体。但它的标注体系比常规数据集复杂得多：

• 同时提供 实例分割 （JSON 格式）和 语义分割（PNG 掩码）两种标注
• 图像分辨率高达 2048×1024，直接加载易导致内存溢出
• 标注 ID 系统包含 id、trainId、categoryId 等多套映射关系

这些特性使得许多初学者在数据加载阶段就陷入困境。下面我将分享一套经过实战检验的解决方案。

技术方案选型

方案对比

1. 官方工具包 ：cityscapesscripts 提供标注解析 API，但需要额外处理与 PyTorch 的集成
2. COCO API：需将标注转换为 COCO 格式，丢失 Cityscapes 特有的拓扑信息
3. 自定义 DataLoader：灵活性最高，适合需要多任务学习的场景

推荐选择：对于目标检测任务，建议组合使用cityscapesscripts+ 自定义 DataLoader，平衡开发效率与灵活性。

环境准备

# 安装核心依赖
pip install cityscapesscripts torch==1.12.0+cu113 torchvision==0.13.0+cu113

核心实现步骤

1. 标注解析

Cityscapes 的实例标注存储在 gtFine 目录下的 JSON 文件中，我们需要提取两类信息：

• 目标类别 ：通过label 字段获取
• 多边形坐标 ：polygon 字段包含实例轮廓的顶点列表

from cityscapesscripts.helpers.labels import labels
import json
from pathlib import Path

def parse_annotation(json_path: Path) -> List[Dict]:
    """解析单个 JSON 标注文件"""
    with open(json_path) as f:
        data = json.load(f)

    objects = []
    for obj in data["objects"]:
        # 获取类别信息
        label_name = obj["label"]
        label_info = next((l for l in labels if l.name == label_name), None)
        if not label_info or not label_info.hasInstances:
            continue  # 跳过无实例的类别

        # 提取多边形顶点并转为矩形框
        polygon = np.array(obj["polygon"], dtype=np.float32)
        xmin, ymin = polygon.min(axis=0)
        xmax, ymax = polygon.max(axis=0)

        objects.append({
            "category_id": label_info.trainId,  # 使用训练专用 ID
            "bbox": [xmin, ymin, xmax-xmin, ymax-ymin],  # [x,y,w,h]格式
            "polygon": polygon  # 保留原始多边形用于分割任务
        })
    return objects

2. 构建 PyTorch Dataset

关键点：
– 使用内存映射 (memmap) 加载大尺寸图像
– 实现 __getitem__ 时同步返回检测框和分割掩码

import numpy as np
import torch
from torch.utils.data import Dataset

class CityscapesDataset(Dataset):
    def __init__(self, root: str, split: str = "train"):
        self.root = Path(root)
        self.split = split
        self.image_dir = self.root / "leftImg8bit" / split
        self.label_dir = self.root / "gtFine" / split

        # 预加载所有标注路径
        self.image_paths = sorted(self.image_dir.rglob("*_leftImg8bit.png"))

    def __len__(self) -> int:
        return len(self.image_paths)

    def __getitem__(self, idx: int) -> Dict:
        img_path = self.image_paths[idx]
        label_path = self.label_dir / img_path.name.replace("leftImg8bit", "gtFine_polygons")

        # 内存映射方式加载图像
        img = np.load(img_path, mmap_mode="r")
        img = torch.from_numpy(img.copy()).permute(2, 0, 1)  # HWC -> CHW

        # 解析标注
        annotations = parse_annotation(label_path.with_suffix(".json"))

        # 组装目标检测需要的格式
        boxes = torch.tensor([obj["bbox"] for obj in annotations], dtype=torch.float32)
        labels = torch.tensor([obj["category_id"] for obj in annotations], dtype=torch.int64)

        return {
            "image": img,
            "boxes": boxes,
            "labels": labels,
            "image_id": torch.tensor([idx])
        }

3. 性能优化技巧

图像加载优化

# 在 Dataset 初始化时添加
self.mean = torch.tensor([0.485, 0.456, 0.406])  # ImageNet 均值
self.std = torch.tensor([0.229, 0.224, 0.225])   # ImageNet 标准差

def __getitem__(self, idx):
    # ... 原有代码...

    # 归一化 + 下采样到 1024x512
    img = F.interpolate(img.unsqueeze(0), size=(512, 1024), mode="bilinear").squeeze(0)
    img = img.float().div(255).sub(self.mean[:,None,None]).div(self.std[:,None,None])

    # 对标注框同步缩放
    if len(boxes) > 0:
        boxes *= torch.tensor([0.5, 0.5, 0.5, 0.5])  # w,h 各减半

多 GPU 训练分片

# 使用 DistributedSampler
sampler = torch.utils.data.distributed.DistributedSampler(dataset)
dataloader = DataLoader(
    dataset,
    batch_size=8,
    sampler=sampler,
    num_workers=4,
    collate_fn=lambda x: x  # 自定义批处理函数
)

避坑指南

1. ID 映射错误：
2. label.id是原始 ID（1-33）
3. label.trainId是训练专用 ID（0-18），忽略不关注的类别

4. 务必检查 hasInstances 属性，否则会误将背景作为目标

5. 内存泄漏：

6. 大尺寸图像必须使用 mmap_mode 加载

7. 验证阶段用 torch.no_grad() 包裹

8. 多 GPU 同步：

9. 确保每个进程看到不同的数据分片
10. 使用 torch.distributed.barrier() 同步验证步骤

性能对比

在 RTX 3090 上测试不同预处理策略的吞吐量（batch_size=8）：

建议：当显存不足时，优先采用中心裁剪而非下采样，能更好地保留目标完整性。

扩展思考：时序信息利用

Cityscapes 包含视频序列（前后帧间隔 0.5 秒），可通过以下方式提升检测效果：

1. 光流引导：

   # 使用 RAFT 等光流算法估计运动
   flow = raft_model(frame1, frame2)
   warped_boxes = apply_flow_to_boxes(boxes, flow)

2. 时序一致性损失：

   def temporal_loss(pred1, pred2, flow):
       # 计算预测框在时序上的稳定性
       return F.mse_loss(pred1, warp_with_flow(pred2, flow))

实践资源

• Colab 完整示例
• 扩展阅读方向：
• 半自动标注：利用预训练模型加速 Cityscapes 标注
• 跨数据集训练：融合 BDD100K 等同类数据
• 3D 检测扩展：将 2D 检测结果投影到点云

通过本文介绍的方法，你应该能高效地开展 Cityscapes 目标检测实验。记住关键点：合理利用官方工具解析标注、采用内存映射处理大图、根据硬件条件选择预处理策略。期待看到你的创新成果！