Cityscapes数据集深度解析：从标注规范到计算机视觉实战应用

1次阅读

共计 2917 个字符，预计需要花费 8 分钟才能阅读完成。

Cityscapes 数据集是自动驾驶和计算机视觉领域中最具影响力的语义分割基准数据集之一。它由德国奔驰公司主导采集，包含来自 50 个不同城市的街道场景图像，涵盖了多样化的天气条件、季节变化和城市景观。对于从事自动驾驶、机器人导航和场景理解的研究人员和开发者来说，Cityscapes 提供了宝贵的真实世界数据资源。

然而，在实际使用中，开发者经常会遇到以下痛点：

标注体系复杂，19 个语义类别之间存在层级关系
数据分布不均衡，某些类别（如行人）样本数量较少
高分辨率图像（2048×1024）对计算资源要求高
精细标注（fine annotation）仅适用于部分图像

Cityscapes 官方将标注分为 19 个可评估的语义类别，这些类别又可以进一步归纳为 7 个超级类别：

平面（Flat）：道路、人行道、停车位
建筑（Construction）：建筑、围墙、护栏
物体（Object）：杆子、交通灯、交通标志
自然（Nature）：植被、地形
天空（Sky）
人（Human）：行人、骑行者
车辆（Vehicle）：车辆、卡车、公交车

特别需要注意的是，标注中还存在一个 void 类（ID=0），表示不参与评估的像素区域。

数据集包含以下子集：

训练集：2975 张精细标注图像
验证集：500 张精细标注图像
测试集：1525 张图像（标注不公开）

每个城市的数据在不同子集中的分布大致均衡，确保了地理多样性。值得注意的是，训练集中还包含 19998 张粗糙标注（coarse annotation）图像，可用于预训练或半监督学习。

使用官方提供的 cityscapesscripts 工具包可以方便地加载数据集：

from cityscapesscripts.helpers.labels import labels
import matplotlib.pyplot as plt
import numpy as np

# 定义类别颜色映射
def create_color_map():
    color_map = np.zeros((256, 3), dtype=np.uint8)
    for label in labels:
        color_map[label.id] = label.color
    return color_map

# 可视化标注
def visualize_annotation(annotation_path):
    annotation = np.array(Image.open(annotation_path))
    color_map = create_color_map()
    colored_annotation = color_map[annotation]
    plt.imshow(colored_annotation)
    plt.axis('off')
    plt.show()

由于 Cityscapes 图像分辨率高，直接进行随机裁剪可能会导致重要语义信息丢失。推荐使用以下增强组合：

import torchvision.transforms as T

train_transform = T.Compose([T.Resize((1024, 2048)),  # 保持宽高比下采样
    T.RandomCrop((512, 1024)),  # 随机裁剪
    T.RandomHorizontalFlip(p=0.5),  # 水平翻转
    T.ColorJitter(brightness=0.3, contrast=0.3, saturation=0.3),  # 颜色扰动
    T.ToTensor(),  # 转换为 Tensor
    T.Normalize(mean=[0.485, 0.456, 0.406], std=[0.229, 0.224, 0.225])  # 标准化
])

对于语义分割任务，推荐结合交叉熵损失和 Lovasz-Softmax 损失：

import torch
import torch.nn as nn
import torch.nn.functional as F

class SegmentationLoss(nn.Module):
    def __init__(self, ignore_index=255):
        super().__init__()
        self.ce_loss = nn.CrossEntropyLoss(ignore_index=ignore_index)

    def lovasz_softmax(self, preds, targets):
        # Lovasz-Softmax 实现
        # 详见 https://github.com/bermanmaxim/LovaszSoftmax
        pass

    def forward(self, preds, targets):
        ce_loss = self.ce_loss(preds, targets)
        lovasz_loss = self.lovasz_softmax(preds, targets)
        return ce_loss + 0.5 * lovasz_loss

def train_epoch(model, loader, optimizer, criterion, device):
    model.train()
    total_loss = 0

    for images, masks in loader:
        images = images.to(device)
        masks = masks.to(device)

        optimizer.zero_grad()
        outputs = model(images)
        loss = criterion(outputs, masks)
        loss.backward()
        optimizer.step()

        total_loss += loss.item()

    return total_loss / len(loader)