共计 2285 个字符，预计需要花费 6 分钟才能阅读完成。

背景痛点分析

bdd100k 是自动驾驶领域广泛使用的图像分割数据集，包含 10 万张街景图像，覆盖多种天气和光照条件。但在实际应用中存在三个主要挑战：

1. 类别不平衡问题 ：道路、天空等类别占比高达 40%，而交通标志、行人等关键类别不足 1%
2. 标注不一致性 ：同一物体在不同图像中的标注粒度不一致（如车辆有时标注为整体，有时分部件标注）
3. 计算资源消耗 ：原始图像分辨率高达 1280×720，直接训练显存占用大

技术方案实现

数据预处理优化

智能数据增强策略

import albumentations as A

# 针对街景特点设计的增强组合
train_transform = A.Compose([A.RandomBrightnessContrast(p=0.5),  # 应对光照变化
    A.HueSaturationValue(p=0.3),        # 模拟不同天气
    A.RandomCrop(height=640, width=960), # 降低显存消耗
    A.GridDropout(ratio=0.2, p=0.5)     # 模拟遮挡
])

类别重平衡方案

1. 统计各类别像素占比，生成类别权重矩阵
2. 实现自适应采样器，使少数类样本被抽中的概率提升 3 - 5 倍
3. 在损失函数中引入反向频率加权

模型训练技巧

混合精度训练配置

scaler = torch.cuda.amp.GradScaler()  # FP16 加速

with torch.cuda.amp.autocast():
    outputs = model(inputs)
    loss = criterion(outputs, targets)
scaler.scale(loss).backward()
scaler.step(optimizer)
scaler.update()

动态学习率调度

# 采用 warmup+ 余弦退火组合策略
scheduler = torch.optim.lr_scheduler.SequentialLR(
    optimizer,
    [torch.optim.lr_scheduler.LinearLR(optimizer, 0.001, 1, total_iters=500),
        torch.optim.lr_scheduler.CosineAnnealingLR(optimizer, T_max=epochs-5)
    ],
    milestones=[500]
)

完整代码实现

高效数据加载 Pipeline

class BDD100KDataset(torch.utils.data.Dataset):
    def __init__(self, root, transform=None):
        self.class_weights = self._calc_class_weights()
        # 实现内存映射加载
        self.images = [mmap_read(os.path.join(root, 'images', f)) 
                      for f in sorted(os.listdir(os.path.join(root, 'images')))]

    def __getitem__(self, idx):
        img = decode_image(self.images[idx])  # 延迟解码
        mask = load_mask(self.mask_paths[idx])

        if self.transform:
            augmented = self.transform(image=img, mask=mask)
            img, mask = augmented['image'], augmented['mask']

        return img, mask

优化后的损失函数

class FocalDiceLoss(nn.Module):
    def __init__(self, class_weights):
        super().__init__()
        self.dice = DiceLoss(mode='multiclass')
        self.focal = FocalLoss(weight=class_weights, gamma=2)

    def forward(self, preds, targets):
        return 0.7*self.dice(preds, targets) + 0.3*self.focal(preds, targets)

性能优化策略

显存优化技巧

1. 使用梯度累积：每 4 个 batch 更新一次参数，等效 batch_size 扩大 4 倍
2. 启用 checkpointing：在 backward 时重新计算中间特征，节省 30% 显存
3. 采用 inplace 操作：如 ReLU(inplace=True)

分布式训练配置

torch.distributed.init_process_group('nccl')
model = DDP(model, device_ids=[local_rank])
sampler = DistributedSampler(dataset, shuffle=True)

避坑指南

1. 标签映射错误 ：BDD100K 原始标签有 40 类，需合并为 19 个标准类别
2. OOM 问题 ：
3. 错误：直接加载全分辨率图像
4. 解决：采用 stride= 2 的下采样或分块训练
5. 训练震荡 ：
6. 现象：验证指标波动大于 5%
7. 排查：检查数据增强中的随机变换强度是否过大

实验对比

开放性问题

1. 当遇到极端类别不平衡（如 1:1000）时，重采样和重加权哪种策略更有效？
2. 在计算资源受限的情况下，如何平衡图像分辨率与模型深度对精度的影响？
3. 针对自动驾驶的实时性要求，有哪些模型轻量化方案可以保证分割精度不下降？