如何高效处理bdd100k数据集：从数据清洗到模型训练的完整解决方案

1次阅读

没有评论

共计 1709 个字符，预计需要花费 5 分钟才能阅读完成。

bdd100k 数据集是自动驾驶领域的重要基准数据集，包含 10 万张图像，涵盖多种天气、光照和道路条件。然而，该数据集的处理存在以下难点：

标注格式复杂：包含目标检测、语义分割、车道检测等多种标注类型，格式不统一
数据量大：原始数据超过 1TB，直接加载会消耗大量内存
存在噪声数据：部分图像存在标注缺失、模糊或重复等问题

在处理 bdd100k 数据集时，常见的方案有：

直接使用原数据集
优点：无需额外处理
缺点：内存占用高，训练效率低
自定义处理脚本
优点：灵活性高
缺点：开发成本大，难以复用
本文提出的标准化处理流程
优点：兼顾效率和灵活性
缺点：需要一定的初始配置

检查并处理缺失值
删除无标注的图像
补全部分缺失的标注
处理异常值
过滤掉过度曝光或模糊的图像
修正错误的标注框
数据去重
使用感知哈希算法识别相似图像
保留质量最高的样本

将原始 JSON 标注转换为统一的 COCO 格式，便于后续处理：

解析原始标注文件
提取目标检测框信息
转换语义分割掩码
生成标准化 JSON 文件

使用 PyTorch Lightning 的 DataModule 实现高效加载：

实现自定义 Dataset 类
配置 DataLoader 参数
使用内存映射技术减少内存占用

import json
from pathlib import Path
import numpy as np
import pytorch_lightning as pl
from torch.utils.data import Dataset, DataLoader

class BDD100KDataModule(pl.LightningDataModule):
    def __init__(self, data_dir: str, batch_size: int = 32):
        super().__init__()
        self.data_dir = Path(data_dir)
        self.batch_size = batch_size

    def setup(self, stage=None):
        # 加载并预处理数据
        with open(self.data_dir / 'labels.json') as f:
            self.labels = json.load(f)

        # 实现数据拆分逻辑
        self.train_dataset = BDD100KDataset(self.labels['train'])
        self.val_dataset = BDD100KDataset(self.labels['val'])

    def train_dataloader(self):
        return DataLoader(
            self.train_dataset,
            batch_size=self.batch_size,
            shuffle=True,
            num_workers=4
        )

class BDD100KDataset(Dataset):
    def __init__(self, annotations):
        self.annotations = annotations

    def __len__(self):
        return len(self.annotations)

    def __getitem__(self, idx):
        ann = self.annotations[idx]
        # 实现具体的数据加载逻辑
        return {'image': load_image(ann['image_path']),
            'labels': process_labels(ann['labels'])
        }