Cityscapes目标检测数据集实战：从数据预处理到模型优化的完整解决方案

1次阅读

没有评论

共计 2320 个字符，预计需要花费 6 分钟才能阅读完成。

Cityscapes 是自动驾驶领域最常用的目标检测数据集之一，包含 5000 张精细标注的图像（2975 张训练，500 张验证，1525 张测试），涵盖欧洲不同城市的各种场景。数据集具有以下关键特性：

19 类语义标注：包括道路、车辆、行人、建筑物等关键自动驾驶相关类别
高分辨率图像：所有图像均为 2048×1024 分辨率，细节丰富但处理困难
多边形标注：不同于简单矩形框，Cityscapes 使用精确的多边形标注物体轮廓
场景多样性：包含不同天气、光照条件和城市环境

直接加载 2048×1024 图像会消耗大量显存，特别是在批量训练时。

解决方案 ：

实现懒加载策略：仅在需要时加载图像，而不是一次性加载整个数据集
使用 PyTorch 的 Dataloader 配合自定义 Dataset
添加动态降采样选项，训练时可使用较低分辨率

class CityscapesDataset(torch.utils.data.Dataset):
    def __init__(self, root, split='train', scale=1.0):
        self.scale = scale  # 缩放比例
        self.images = [...]  # 初始化图像路径列表

    def __getitem__(self, idx):
        img = cv2.imread(self.images[idx])
        if self.scale != 1.0:
            new_h = int(img.shape[0] * self.scale)
            new_w = int(img.shape[1] * self.scale)
            img = cv2.resize(img, (new_w, new_h))
        return img

Cityscapes 使用 JSON 格式存储多边形标注，直接解析效率低且容易出错。

解决方案 ：

利用 COCOAPI 解析标注，它已针对复杂标注优化
缓存解析结果避免重复计算
实现可视化检查函数验证标注正确性

from pycocotools.coco import COCO

coco = COCO(annotation_file)
ann_ids = coco.getAnnIds(imgIds=img_id)
anns = coco.loadAnns(ann_ids)

# 将多边形转换为 mask
mask = np.zeros((img_h, img_w))
for ann in anns:
    if 'segmentation' in ann:
        mask += coco.annToMask(ann) * ann['category_id']

城市场景中，天空、道路等类别占比远高于行人、交通标志等关键类别。

解决方案 ：

统计各类别像素出现频率
计算类别权重，在损失函数中加权
实现加权随机采样

# 计算类别权重
class_weights = 1 / torch.log(freq + 1e-6)

# 在损失函数中使用
criterion = nn.CrossEntropyLoss(weight=class_weights)

# 加权采样
sampler = WeightedRandomSampler(weights, num_samples)

import albumentations as A

# 定义增强策略
train_transform = A.Compose([A.HorizontalFlip(p=0.5),
    A.RandomBrightnessContrast(p=0.2),
    A.RandomScale(scale_limit=0.5, p=0.5),
    A.CropNonEmptyMaskIfExists(height=512, width=1024),
], bbox_params=A.BboxParams(format='pascal_voc'))

# 完整 Dataset 实现
class CityscapesDataset(Dataset):
    def __init__(self, transform=None):
        self.transform = transform

    def __getitem__(self, idx):
        img = cv2.imread(img_path)
        mask = parse_annotations(ann_path)

        if self.transform:
            augmented = self.transform(image=img, mask=mask)
            img, mask = augmented['image'], augmented['mask']

        return img, mask