Cityscapes数据集下载与预处理全指南：从数据获取到模型训练

1次阅读

没有评论

共计 2672 个字符，预计需要花费 7 分钟才能阅读完成。

Cityscapes 数据集是自动驾驶和计算机视觉领域的重要基准数据集，但官方下载流程复杂且预处理步骤繁琐。本文将详细介绍如何高效获取和处理这一数据集，帮助开发者快速应用于实际项目。

Cityscapes 数据集包含来自 50 个不同城市的街景图像，涵盖多种天气条件和交通场景。它提供了：

5000 张精细标注图像（2975 训练，500 验证，1525 测试）
20000 张粗略标注图像
30 个语义类别标注

然而，使用这个数据集存在以下挑战：

官方下载需要注册并同意复杂的许可协议
数据集体积庞大（约 70GB），下载过程容易中断
文件结构复杂，新手难以理解
预处理步骤繁琐，直接影响模型训练效率

访问 Cityscapes 官方网站并创建账户
同意数据集使用协议
获取下载脚本download_cityscapes.py
运行脚本选择下载内容

更推荐使用命令行工具直接下载：

# 安装官方客户端
pip install cityscapesscripts

# 下载精细标注训练集
csDownload -d [保存路径] -t fine -m train

from cityscapesscripts.download import downloader

# 设置下载参数
dl = downloader.CityscapesDownloader(
    username="your_username",
    password="your_password",
    unpack=True
)

# 下载特定子集
dl.download("leftImg8bit_trainvaltest")
dl.download("gtFine_trainvaltest")

解压后的目录结构如下：

cityscapes/
├── leftImg8bit/          # 原始图像
│   ├── train/
│   ├── val/
│   └── test/
├── gtFine/               # 精细标注
│   ├── train/
│   ├── val/
│   └── test/
└── license.txt

标注文件采用 JSON 格式，包含：

语义分割掩码（_gtFine_labelIds.png）
实例分割信息（_gtFine_instanceIds.png）
多边形标注（_gtFine_polygons.json）

import os
import cv2
import numpy as np

# 定义类别颜色映射
COLOR_MAP = {0: (0, 0, 0),        # 未标注
    1: (70, 70, 70),     # 建筑
    # ... 其他类别定义
}

def load_image_pair(img_path, label_path):
    """加载图像和对应的标注"""
    image = cv2.cvtColor(cv2.imread(img_path), cv2.COLOR_BGR2RGB)
    label = cv2.imread(label_path, cv2.IMREAD_GRAYSCALE)
    return image, label

import albumentations as A

# 定义增强管道
transform = A.Compose([A.HorizontalFlip(p=0.5),
    A.RandomBrightnessContrast(p=0.2),
    A.RandomScale(scale_limit=0.5, p=0.3),
    A.CropNonEmptyMaskIfExists(height=512, width=1024)
])

# 应用增强
augmented = transform(image=img, mask=label)
img_aug = augmented["image"]
label_aug = augmented["mask"]

处理大规模数据集时，建议：

使用内存映射文件处理大图像
预先生成并缓存预处理结果
采用多进程数据加载

from torch.utils.data import Dataset
import torch

class CityscapesDataset(Dataset):
    def __init__(self, root, transform=None):
        self.image_paths = [...]  # 预先生成路径列表
        self.transform = transform
        self.cache = {}  # 简单缓存机制

    def __getitem__(self, idx):
        if idx not in self.cache:
            img, label = load_image_pair(...)
            if self.transform:
                augmented = self.transform(...)
                img, label = augmented["image"], augmented["mask"]
            self.cache[idx] = (img, label)
        return self.cache[idx]

常见问题及解决方案：

下载中断 ：使用wget -c 断点续传
标注不匹配：检查图像和标注的文件名严格对应
内存不足：降低批次大小或使用动态裁剪
类别不平衡：采用加权交叉熵损失

import torch.nn as nn
from torch.utils.data import DataLoader

# 创建数据加载器
dataset = CityscapesDataset("path/to/data", transform=transform)
dataloader = DataLoader(dataset, batch_size=8, shuffle=True)

# 定义简单模型
model = nn.Sequential(nn.Conv2d(3, 64, kernel_size=3, padding=1),
    nn.ReLU(),
    # ... 更多层
)

# 训练循环
for epoch in range(10):
    for images, labels in dataloader:
        outputs = model(images)
        loss = criterion(outputs, labels)
        optimizer.zero_grad()
        loss.backward()
        optimizer.step()