如何高效转换BDD100K数据集为YOLO格式：实战指南与性能优化

1次阅读

没有评论

共计 2391 个字符，预计需要花费 6 分钟才能阅读完成。

BDD100K 作为自动驾驶领域主流数据集，采用 JSON 格式存储标注信息，与 YOLO 要求的 txt 标签格式存在显著差异。主要痛点集中在三个方面：

坐标系差异：BDD100K 使用绝对坐标（像素值），而 YOLO 要求归一化的相对坐标（0- 1 之间）
类别体系：BDD100K 包含 40+ 细粒度类别（如 ”traffic light” 细分状态），需映射到 YOLO 的通用类别
结构差异：原始数据每个 JSON 文件对应整个视频序列，需拆分为每帧独立标注

采用 Python 核心方案，通过三层处理流程实现高效转换：

数据解析层 ：使用json 模块加载原始标注，提取关键字段
转换逻辑层：实现坐标归一化公式 (x_center/width, y_center/height, bbox_width/width, bbox_height/height)
输出管理层：按 YOLO 要求组织目录结构，生成对应的 txt 标签文件

特别处理驾驶场景的三大挑战：

处理遮挡物体（truncated 字段）
过滤非常见类别（如 ”rider” 映射为 ”person”）
保留关键交通元素（红绿灯状态转为独立类别）

import json
from pathlib import Path

# 类别映射字典（示例）CLASS_MAP = {
    "car": 0,
    "traffic light-red": 1,
    "person": 2,
    # ... 其他类别映射
}

def convert_bdd_to_yolo(json_path, output_dir):
    """核心转换函数"""
    with open(json_path) as f:
        data = json.load(f)

    for frame in data["frames"]:
        img_width = frame["width"]
        img_height = frame["height"]
        txt_lines = []

        for obj in frame["objects"]:
            # 坐标转换逻辑
            x1, y1 = obj["box2d"]["x1"], obj["box2d"]["y1"]
            x2, y2 = obj["box2d"]["x2"], obj["box2d"]["y2"]
            x_center = (x1 + x2) / 2 / img_width
            y_center = (y1 + y2) / 2 / img_height
            width = (x2 - x1) / img_width
            height = (y2 - y1) / img_height

            # 类别处理
            cls_name = obj["category"]
            if obj.get("attributes", {}).get("trafficLightColor"):
                cls_name += f"-{obj['attributes']['trafficLightColor']}"

            if cls_name in CLASS_MAP:
                txt_lines.append(f"{CLASS_MAP[cls_name]} {x_center} {y_center} {width} {height}")

        # 写入 YOLO 格式文件
        output_path = output_dir / f"{frame['name'].replace('.jpg','.txt')}"
        output_path.write_text('\n'.join(txt_lines))

多进程加速 ：使用multiprocessing.Pool 处理 10 万 + 图像

from multiprocessing import Pool

def process_single(args):
    convert_bdd_to_yolo(*args)

with Pool(8) as p:  # 8 进程并行
    p.map(process_single, file_pairs)

内存优化：
分块读取大 JSON 文件
使用生成器逐帧处理
及时释放不再需要的变量
磁盘 IO 优化：
批量写入替代频繁单文件操作
使用 SSD 存储介质

标签越界：添加坐标校验逻辑
```
x_center = max(0, min(1, x_center))
```

类别遗漏：建立默认映射规则

CLASS_MAP.get(cls_name, -1)  # 返回 - 1 时跳过该物体

空标签处理：创建空白文件保持一致性

使用 OpenCV 可视化验证是最可靠的方式：

加载原始图片和转换后的标签
将归一化坐标还原为像素坐标
绘制边界框和类别标签

import cv2

def visualize_yolo(img_path, txt_path, class_names):
    img = cv2.imread(img_path)
    h, w = img.shape[:2]

    with open(txt_path) as f:
        for line in f:
            cls_id, xc, yc, bw, bh = map(float, line.split())
            # 坐标反归一化
            x1 = int((xc - bw/2) * w)
            y1 = int((yc - bh/2) * h)
            x2 = int((xc + bw/2) * w)
            y2 = int((yc + bh/2) * h)

            cv2.rectangle(img, (x1,y1), (x2,y2), (0,255,0), 2)
            cv2.putText(img, class_names[int(cls_id)], (x1,y1-5), 
                        cv2.FONT_HERSHEY_SIMPLEX, 0.5, (0,0,255), 1)

    cv2.imshow('Preview', img)
    cv2.waitKey(0)