Cityscapes数据集实战：语义分割模型训练中的常见问题与优化方案

1次阅读

没有评论

共计 1538 个字符，预计需要花费 4 分钟才能阅读完成。

Cityscapes 数据集是自动驾驶领域广泛使用的语义分割基准数据集，包含来自 50 个城市的街景图像，具有精细的像素级标注。但在实际使用中，开发者常遇到以下问题：

标注复杂性 ：19 个语义类别中存在大量小物体（如交通标志、行人），标注质量受遮挡和光照影响
类别不平衡 ：道路和建筑等大类占比超过 60%，而自行车、摩托车等小类不足 5%
计算资源消耗 ：2048×1024 的高分辨率图像导致显存占用高，batch_size 通常只能设为 2 -4

常规裁剪 ：随机裁剪 512×512 区域，简单但丢失长距离上下文
多尺度训练 ：在 0.5-2.0 倍随机缩放，提升尺度不变性但增加计算量
自适应填充 ：保持长宽比填充至统一尺寸，内存友好但引入无效像素

实验数据显示，多尺度训练可使 mIoU 提升 2.1%，但训练时间增加 40%。

交叉熵损失 ：简单高效但对类别不平衡敏感
加权交叉熵 ：通过逆类别频率加权，小类召回率提升 15%
Focal Loss：聚焦难样本，在行人等小物体上 IoU 提升显著

import torch
from torch.utils.data import DataLoader
from torchvision.transforms import Compose

class CityscapesDataset:
    def __init__(self, transform=None):
        self.transform = transform
        # 实现__len__和__getitem__

    def __getitem__(self, idx):
        img, mask = load_image_and_mask(idx)  # 自定义加载函数
        if self.transform:
            img, mask = self.transform(img, mask)
        return img, mask

# 组合预处理操作
transform = Compose([RandomHorizontalFlip(p=0.5),
    ColorJitter(brightness=0.3, contrast=0.3),
    Normalize(mean=[0.485, 0.456, 0.406], std=[0.229, 0.224, 0.225])
])

dataset = CityscapesDataset(transform=transform)
dataloader = DataLoader(dataset, batch_size=4, num_workers=4, pin_memory=True)

梯度累积 ：通过多次前向传播累积梯度再更新，模拟大 batch_size
混合精度训练 ：使用 AMP 自动混合精度，显存减少 40% 而精度损失 <0.5%
激活检查点 ：在 ResNet 等模型中可节省 20% 显存

torch.distributed.init_process_group(backend='nccl')
model = nn.parallel.DistributedDataParallel(
    model,
    device_ids=[local_rank],
    output_device=local_rank
)
# 使用 2 台 8 卡机器时，吞吐量提升 14 倍