Cityscapes数据集图片命名与标注文件同步的自动化解决方案

1次阅读

没有评论

共计 2043 个字符，预计需要花费 6 分钟才能阅读完成。

在使用 Cityscapes 数据集进行目标检测或语义分割任务时，经常会遇到图片文件与对应的标注文件命名不一致的问题。这种不一致性可能来源于数据集的不同版本、手动修改、或者下载过程中的错误。这种问题会导致:

数据加载失败，模型训练中断
错误匹配的图片和标注，影响模型性能
大量时间浪费在手动核对文件名上

我曾在一个项目中花费了近两天时间手动检查 3000 多对图片和标注文件，效率极低且容易出错。更糟的是，有一次因为漏检了几对不匹配的文件，导致模型训练到中期才报错，白白浪费了数十小时的 GPU 计算时间。

为了解决这个问题，我调研了以下几种技术方案：

文件名正则表达式匹配
优点：实现简单，速度快
缺点：依赖于特定的命名规则，不够健壮
文件哈希值校验
优点：准确度高，不受文件名影响
缺点：计算开销较大
EXIF 元数据提取
优点：可能包含有用的额外信息
缺点：不是所有图片都有 EXIF 数据，且标注文件不包含这些信息

经过比较，我决定采用 文件哈希值校验 作为核心方法，因为它提供了最高的准确性，同时结合正则表达式进行初步筛选以提高效率。

下面是一个 Python 脚本，实现了自动匹配和重命名功能：

import os
import hashlib
import json
import argparse
from typing import Dict, List, Tuple
import re


def calculate_file_hash(filepath: str, chunk_size: int = 8192) -> str:
    """计算文件的 MD5 哈希值"""
    hash_md5 = hashlib.md5()
    with open(filepath, "rb") as f:
        for chunk in iter(lambda: f.read(chunk_size), b""):
            hash_md5.update(chunk)
    return hash_md5.hexdigest()


def find_matching_pairs(img_dir: str, ann_dir: str) -> List[Tuple[str, str]]:
    """查找匹配的图片和标注文件对"""
    # 实现代码...


def rename_files(pairs: List[Tuple[str, str]], output_dir: str) -> None:
    """重命名文件以保持一致性"""
    # 实现代码...


if __name__ == "__main__":
    parser = argparse.ArgumentParser(description='Cityscapes 数据集文件同步工具')
    parser.add_argument('--img_dir', required=True, help='图片目录路径')
    parser.add_argument('--ann_dir', required=True, help='标注目录路径')
    parser.add_argument('--output_dir', required=True, help='输出目录路径')
    args = parser.parse_args()

    matching_pairs = find_matching_pairs(args.img_dir, args.ann_dir)
    rename_files(matching_pairs, args.output_dir)

完整代码可在我的 GitHub 仓库获取。脚本主要功能包括：