基于bdd100k数据集的图像分割实战：从数据预处理到模型训练

1次阅读

没有评论

共计 1911 个字符，预计需要花费 5 分钟才能阅读完成。

bdd100k 数据集包含 10 万张街景图像，覆盖 40 类语义标签（如车辆、行人、交通标志等），是自动驾驶领域的重要基准。实际应用时面临三大挑战：

标注不一致性 ：极端光照（逆光 / 夜间）和天气（雨雪雾）条件下，人工标注边界模糊
类别不平衡 ：道路等大类占比超 30%，而交通灯等小目标不足 0.1%
动态物体干扰 ：移动车辆 / 行人导致标注框与像素不匹配（如运动模糊）

针对上述问题，采用两阶段增强策略：

光照归一化 ：
使用 CLAHE（Contrast Limited Adaptive Histogram Equalization）处理过暗 / 过曝区域

代码示例：

import cv2
clahe = cv2.createCLAHE(clipLimit=2.0, tileGridSize=(8,8))
lab = cv2.cvtColor(image, cv2.COLOR_BGR2LAB)
lab[:,:,0] = clahe.apply(lab[:,:,0])
normalized_img = cv2.cvtColor(lab, cv2.COLOR_LAB2BGR)

小目标增强 ：
随机擦除（Random Erasing）概率性保留小物体区域
设置擦除面积比 0.02~0.2，避免过度破坏语义连续性

在 RTX 3090 上测试两种主流架构：

DeepLabV3+（Xception backbone）
优势：大感受野适合道路等连续区域
mIoU：68.2%（全分辨率输入）
Mask R-CNN（ResNet-50-FPN）
优势：实例分割能力突出
mIoU：65.7%，但小目标召回率高 12%

为缓解类别不平衡，采用复合损失：

$$
L = 0.6 \cdot DiceLoss + 0.4 \cdot FocalLoss(\gamma=2)
$$

其中 DiceLoss 增强前景关注，FocalLoss 抑制易分类背景权重。

多线程预处理加速方案：

class BDD100KDataset(Dataset):
    def __getitem__(self, idx):
        img = Image.open(self.img_paths[idx]).convert('RGB')
        mask = np.load(self.mask_paths[idx])  # 预处理的 one-hot 标签

        # 双随机增强（需同步变换图像与掩码）if self.train:
            img, mask = random_rotate(img, mask, max_angle=15)
            img = random_color_jitter(img)

        return ToTensor()(img), torch.LongTensor(mask)

loader = DataLoader(dataset, batch_size=16, 
                   num_workers=4, pin_memory=True)

启用 AMP 减少显存占用：

scaler = torch.cuda.amp.GradScaler()
with autocast():
    outputs = model(inputs)
    loss = criterion(outputs, labels)
scaler.scale(loss).backward()
scaler.step(optimizer)
scaler.update()

标注修正 ：
使用 CVAT 工具的 ” 半自动标注 ” 功能，基于模型预测快速修正错误标签
验证集划分 ：
按地理位置（而非默认文件名）划分，避免相邻帧泄漏
显存优化 ：
梯度累积：每 4 个 mini-batch 更新一次参数，等效 batch_size=64

速度对比 （输入尺寸 1024×512）：
| 精度模式 | 吞吐量 (imgs/sec) | GPU 显存占用 |
|———-|——————|————-|
| FP32 | 18.7 | 10872MB |
| FP16 | 31.2 (+66%) | 6234MB |
误分割分析 ：
主要错误集中在 ” 摩托车 ” 与 ” 自行车 ”（形状相似）
雨天场景下 ” 湿路面 ” 易被误判为 ” 人行道 ”