Cityscapes数据集下载与处理全指南：从数据获取到高效预处理

1次阅读

共计 3138 个字符，预计需要花费 8 分钟才能阅读完成。

Cityscapes 数据集是自动驾驶领域广泛使用的基准数据集，包含 50 个城市的高分辨率街景图像（5000 张精细标注 +20000 张粗略标注）。但在实际使用过程中，开发者常遇到以下问题：

下载流程繁琐：需要注册官方账号，手动填写使用目的申请，且数据集被拆分为多个压缩包（约 70GB），浏览器下载容易中断
校验成本高：官方仅提供分散的 MD5 校验值，人工比对耗时且易出错
预处理效率低：
单线程处理 2048×1024 分辨率图像时，仅颜色空间转换和尺寸调整就要消耗 2.3 秒 / 张
语义分割标签需要执行 34 类 ID 映射，传统循环处理方式速度慢

使用 aria2 实现多线程断点续传，相比 wget 速度提升 3 - 5 倍：

安装 aria2：sudo apt install aria2
创建下载脚本：

#!/bin/bash
BASE_URL="https://www.cityscapes-dataset.com/file-handling/?packageID=1"
ARIA_OPTS="-x16 -s16 -j5 --file-allocation=none --continue=true"

# 左 / 右摄像头图像
aria2c $ARIA_OPTS "${BASE_URL}&subfile=leftImg8bit_trainvaltest.zip"
aria2c $ARIA_OPTS "${BASE_URL}&subfile=gtFine_trainvaltest.zip"

编写自动化校验脚本解决官方 MD5 分散问题：

import hashlib

def verify_file(filepath, expected_md5):
    md5 = hashlib.md5()
    with open(filepath, 'rb') as f:
        while chunk := f.read(8192):
            md5.update(chunk)
    return md5.hexdigest() == expected_md5

# 示例：验证左视图图像
if verify_file("leftImg8bit_trainvaltest.zip", "3dcd244b4b4b7d3c"):
    print("文件校验通过")
else:
    print("文件损坏，请重新下载")

基于 OpenCV 和 multiprocessing 的流水线处理：

import cv2
import multiprocessing as mp
from functools import partial

def process_image(img_path, output_size=(1024, 512)):
    # 读取并转换颜色空间
    img = cv2.cvtColor(cv2.imread(img_path), cv2.COLOR_BGR2RGB)
    # 双线性插值下采样
    img = cv2.resize(img, output_size, interpolation=cv2.INTER_LINEAR)
    return img

def batch_process(file_list, output_dir, workers=4):
    with mp.Pool(workers) as pool:
        pool.map(partial(process_image, output_size=(1024, 512)), file_list)

import os
import requests
from tqdm import tqdm

class CityscapesDownloader:
    def __init__(self, cookie):
        self.session = requests.Session()
        self.session.headers.update({'Cookie': cookie})

    def download_file(self, url, save_path):
        with self.session.get(url, stream=True) as r:
            r.raise_for_status()
            total_size = int(r.headers.get('content-length', 0))

            with open(save_path, 'wb') as f, tqdm(desc=os.path.basename(save_path),
                total=total_size,
                unit='iB',
                unit_scale=True
            ) as bar:
                for chunk in r.iter_content(chunk_size=8192):
                    f.write(chunk)
                    bar.update(len(chunk))

# 使用示例
if __name__ == "__main__":
    # 需要替换为实际 cookie
    downloader = CityscapesDownloader("your_cookie_here")
    files = {
        "leftImg8bit_trainvaltest.zip": "https://...",
        "gtFine_trainvaltest.zip": "https://..."
    }

    for filename, url in files.items():
        downloader.download_file(url, filename)

import numpy as np

# Cityscapes 官方 ID 到训练用 ID 的映射
ID_MAP = {
    0: 0,   # 背景
    7: 1,   # 道路
    8: 2,   # 人行道
    # ... 其他 34 类映射
}

def convert_label(label_img):
    """将官方标签转换为训练用掩码"""
    height, width = label_img.shape[:2]
    mask = np.zeros((height, width), dtype=np.uint8)

    for old_id, new_id in ID_MAP.items():
        mask[np.where(label_img == old_id)] = new_id

    return mask

FROM python:3.8-slim

# 安装基础依赖
RUN apt-get update && apt-get install -y \
    wget \
    aria2 \
    libgl1-mesa-glx

# 设置工作目录
WORKDIR /cityscapes

# 复制处理脚本
COPY process.py .

# 安装 Python 包
RUN pip install opencv-python numpy tqdm

CMD ["python", "process.py"]