BDD100K图像分割数据集实战指南：从数据加载到模型训练

1次阅读

共计 1512 个字符，预计需要花费 4 分钟才能阅读完成。

BDD100K 是伯克利大学发布的自动驾驶场景数据集，包含 10 万张高清道路图像（1280×720 分辨率），涵盖昼夜、晴雨等多种驾驶场景。其分割标注包含 40 个类别（如道路、车辆、行人等），采用 JSON 格式存储多边形标注点，是研究语义分割和实例分割的理想基准数据集。

在自动驾驶领域，BDD100K 的价值主要体现在：

场景多样性：覆盖城市 / 高速 / 乡村等复杂路况
标注精细：每个像素都有语义标签
规模优势：足够支撑深度模型的训练

实际使用中常遇到以下问题：

数据加载慢：解压后数据集达 150GB+，传统单线程读取效率低下
标注处理复杂：JSON 中的多边形坐标需转换为二值 Mask
类别不平衡：天空 / 道路等大类占比远高于交通灯 / 标志等小类
内存瓶颈：批量加载高分辨率图像易导致 OOM

使用 Python 的 multiprocessing 实现并行加载：

from multiprocessing import Pool

def load_image(path):
    return cv2.imread(path)

with Pool(8) as p:  # 8 进程并行
    image_list = p.map(load_image, image_paths)

将 JSON 多边形转为 Mask 的核心代码：

import cv2
import numpy as np

def poly_to_mask(polygons, height, width):
    mask = np.zeros((height, width), dtype=np.uint8)
    for poly in polygons:
        cv2.fillPoly(mask, [np.array(poly)], 1)
    return mask

两种实用方法：

样本加权：在损失函数中为小类赋予更高权重
过采样：对小类数据重复采样

import torch
from torch.utils.data import Dataset

class BDD100KLoader(Dataset):
    def __init__(self, img_dir, json_path):
        self.img_paths = sorted(glob(f"{img_dir}/*.jpg"))
        self.labels = load_json(json_path)  # 自定义 JSON 解析

    def __getitem__(self, idx):
        img = cv2.imread(self.img_paths[idx])
        mask = poly_to_mask(self.labels[idx], 720, 1280)  # 调用转换函数
        return torch.FloatTensor(img), torch.LongTensor(mask)