Cityscapes数据集实战：图片命名与标注文件同步的最佳实践

1次阅读

没有评论

共计 2371 个字符，预计需要花费 6 分钟才能阅读完成。

Cityscapes 数据集包含来自 50 个城市的街景图像，每张图片都有对应的精细标注。数据集采用严格的命名约定：

原始图片：{城市}_{序列号}_{帧号}_leftImg8bit.png
标注文件：{城市}_{序列号}_{帧号}_gtFine_labelIds.png

如果命名不同步会导致：

训练时无法找到对应标注，轻则跳过样本，重则直接报错终止
评估指标失真，因为模型预测与标注无法正确匹配
数据增强时可能混淆不同场景的样本

新手常见的做法是手动检查几个文件，但这种方法：

效率低下，Cityscapes 包含约 5000 张训练图片
容易遗漏错误
无法批量修复问题

我们推荐使用 Python 脚本自动化处理，优势在于：

可以快速扫描整个数据集
能够自动修复常见错误
可集成到数据处理流水线中

以下是完整的解决方案，基于 Python 3.8+：

import os
from pathlib import Path

def validate_cityscapes_dataset(img_dir, ann_dir):
    """
    校验 Cityscapes 数据集图片与标注文件的命名一致性
    :param img_dir: leftImg8bit 图片目录
    :param ann_dir: gtFine 标注目录
    """
    missing_count = 0
    mismatch_count = 0

    # 使用 pathlib 处理跨平台路径问题
    img_path = Path(img_dir)
    ann_path = Path(ann_dir)

    # 递归遍历图片目录
    for img_file in img_path.rglob('*_leftImg8bit.png'):
        # 构建预期的标注文件名
        stem = img_file.stem.replace('_leftImg8bit', '')
        expected_ann = ann_path / img_file.parent.name / f"{stem}_gtFine_labelIds.png"

        if not expected_ann.exists():
            print(f"[缺失] 缺少标注文件: {expected_ann}")
            missing_count += 1
            continue

        # 校验文件名是否完全匹配
        img_parts = img_file.stem.split('_')
        ann_parts = expected_ann.stem.split('_')

        if img_parts[:3] != ann_parts[:3]:
            print(f"[不匹配] 图片与标注基础名不一致: {img_file} vs {expected_ann}")
            mismatch_count += 1

    print(f"校验完成，缺失标注: {missing_count}，不匹配: {mismatch_count}")

# 使用示例
if __name__ == "__main__":
    # 替换为你的实际路径
    img_dir = "/path/to/leftImg8bit/train"
    ann_dir = "/path/to/gtFine/train"
    validate_cityscapes_dataset(img_dir, ann_dir)

路径处理 ：使用pathlib 代替os.path，自动处理 Windows/Linux 路径差异
内存优化：通过生成器逐文件检查，避免一次性加载所有文件名
命名解析：正确拆解文件名各部分，确保城市、序列号、帧号严格匹配

遇到不匹配的文件时，可以添加自动修复逻辑：

def try_fix_filename(img_file, ann_dir):
    """尝试修复常见的命名错误"""
    stem = img_file.stem.replace('leftImg8bit', '')

    # 情况 1：标注文件误用了其他后缀
    for suffix in ['_gtFine_labelIds', '_gtFine_color', '_gtFine_instanceIds']:
        candidate = ann_dir / f"{stem}{suffix}.png"
        if candidate.exists():
            return candidate

    # 情况 2：文件名大小写问题
    lower_candidate = ann_dir / f"{stem.lower()}_gtFine_labelIds.png"
    if lower_candidate.exists():
        return lower_candidate

    return None

try:
    validate_cityscapes_dataset(img_dir, ann_dir)
except PermissionError:
    print("权限不足，请检查目录访问权限")
except KeyboardInterrupt:
    print("用户中断操作")
except Exception as e:
    print(f"未知错误: {str(e)}")