Cityscapes数据集实战：图片命名与标注文件同步的最佳实践

1次阅读

共计 1780 个字符，预计需要花费 5 分钟才能阅读完成。

Cityscapes 数据集是自动驾驶领域广泛使用的语义分割数据集，包含来自 50 个城市的街景图像。数据集结构严谨，每张图片都对应精确的标注文件。但正是这种严谨性，给初学者带来了一个常见陷阱：图片和标注文件的命名必须严格匹配。

数据集结构特点：
图片存储在 leftImg8bit 目录下，命名格式如cityname_seqnum_framenum_leftImg8bit.png
标注文件存储在 gtFine 目录下，命名格式如cityname_seqnum_framenum_gtFine_labelIds.png
命名不同步的后果：
训练时找不到对应标注，导致程序报错中断
评估结果失真，因为使用的可能是错误的标注
浪费大量时间在调试上，而非模型改进

手动检查：
适合小规模数据集
容易遗漏错误
耗时且重复性高
自动化脚本：
一次性解决所有命名问题
可集成到数据预处理流程
可扩展性强

下面是一个完整的 Python 脚本，使用 pathlib 库实现命名校验与同步：

from pathlib import Path
def validate_cityscapes_names(images_dir, annotations_dir):
    """
    校验 Cityscapes 数据集图片与标注文件命名一致性
    :param images_dir: leftImg8bit 目录路径
    :param annotations_dir: gtFine 目录路径
    """
    # 转换为 Path 对象以处理不同操作系统路径差异
    img_dir = Path(images_dir)
    ann_dir = Path(annotations_dir)

    # 遍历所有图片文件
    for img_path in img_dir.rglob('*_leftImg8bit.png'):
        # 构造期望的标注文件名
        parts = img_path.stem.split('_')
        city, seq, frame = parts[0], parts[1], parts[2]
        expected_ann_name = f"{city}_{seq}_{frame}_gtFine_labelIds.png"
        ann_path = ann_dir / img_path.parent.name / expected_ann_name

        # 检查标注文件是否存在
        if not ann_path.exists():
            print(f"缺失标注: {img_path.name} -> 期望 {expected_ann_name}")
            # 这里可以添加自动修复逻辑
            # 例如重命名文件或创建符号链接

if __name__ == "__main__":
    import argparse
    parser = argparse.ArgumentParser()
    parser.add_argument('--images', required=True, help='leftImg8bit 目录路径')
    parser.add_argument('--annotations', required=True, help='gtFine 目录路径')
    args = parser.parse_args()

    validate_cityscapes_names(args.images, args.annotations)