BDD100K数据集SOTA模型技术解析：从数据预处理到模型优化

1次阅读

共计 2692 个字符，预计需要花费 7 分钟才能阅读完成。

BDD100K 是自动驾驶领域最具影响力的开源数据集之一，包含 10 万张高清道路图像，覆盖多种天气条件（晴天、雨天、雾天等）和光照场景（白天、夜晚、黄昏）。与 COCO 等通用数据集相比，它的核心价值在于：

场景多样性 ：采集自纽约、旧金山等不同城市，包含复杂城市道路和高速公路场景
标注丰富性 ：提供目标检测（100 类）、语义分割、车道线检测等多任务标注
实际挑战性 ：30% 图像含运动模糊或极端光照，更贴近真实行车环境

在实际使用中发现三个典型问题：

标注噪声问题 ：
夜间样本中约 5% 的车辆标注框存在位置偏移
遮挡目标经常出现标注不完整（如只标出可见部分）
类别极端不平衡 ：
常见类别（如 car）与稀有类别（如 traffic cone）样本量差距达 1000:1
验证集中 15% 的类别出现零样本情况
动态场景挑战 ：
运动模糊导致小目标特征丢失（特别是摩托车、行人）
挡风玻璃反光造成的假阳性检测

模型	mAP@0.5	FPS(2080Ti)	显存占用
YOLOv7-X	56.2	42	10.3GB
DETR-R50	52.8	28	14.1GB
FasterCNN	49.5	35	8.7GB

选择 YOLOv7 作为基础框架，因其在速度 - 精度权衡上的优势。

# Adaptive Mosaic 实现示例
class AdaptiveMosaic:
    def __init__(self, p=0.8, img_size=640):
        self.p = p
        self.img_size = img_size

    def __call__(self, images, targets):
        if random.random() > self.p:
            return images, targets

        # 动态计算拼接尺寸（原 YOLOv7 的改进）s = self.img_size
        min_offset = 0.2
        cx = int(random.uniform(s * min_offset, s * (1 - min_offset)))
        cy = int(random.uniform(s * min_offset, s * (1 - min_offset)))

        # 拼接 4 张图像（完整代码见 GitHub）output_image = np.zeros((s, s, 3), dtype=np.uint8)
        output_image[:cy, :cx] = images[0][:cy, :cx]
        # ... 其他区域拼接

        return output_image, adapted_targets

采用 Task-aligned Assigner 替代传统 IOU 匹配：

计算分类得分与预测框质量的联合度量：

t = s^α × u^β（s= 分类得分，u=CIoU，α=β=1）

对每个 GT 选择 top- k 预测框进行正样本分配
引入动态权重调整机制应对类别不平衡

完整训练流程核心代码：

# 数据加载器配置
train_dataset = BDD100KDataset(
    img_dir='train/images',
    label_dir='train/labels',
    transform=transforms.Compose([AdaptiveMosaic(p=0.8),
        RandomHSV(hgain=0.5, sgain=0.5, vgain=0.5),
        Albumentations()  # 包含运动模糊、雨滴等增强]))

# 改进的损失函数
class ImprovedLoss(nn.Module):
    def __init__(self):
        super().__init__()
        self.cls_loss = nn.BCEWithLogitsLoss(reduction='none')
        self.obj_loss = nn.BCEWithLogitsLoss(reduction='none')

    def forward(self, preds, targets):
        # 分类损失加入类别权重
        cls_weight = self._get_class_weights(targets)
        loss_cls = (self.cls_loss(preds['cls'], targets['cls']) * cls_weight).mean()

        # 使用 CIoU 回归损失
        loss_box = (1.0 - bbox_ciou(preds['box'], targets['box'])).mean()
        return loss_cls + loss_box

# 知识蒸馏配置
teacher = load_pretrained('yolov7-w6')  
student = YOLOv7Tiny()
distill_loss = DistillLoss(
    temperature=3.0,
    student_features=['backbone.2', 'head.5'],
    teacher_features=['backbone.4', 'head.7'])

梯度累积 ：当 batch_size=32 显存不足时

optimizer.zero_grad()
for i, (images, targets) in enumerate(dataloader):
    preds = model(images)
    loss = criterion(preds, targets) / 4  # 假设累积 4 次
    loss.backward()

    if (i+1) % 4 == 0:
        optimizer.step()
        optimizer.zero_grad()