Cityscapes数据集下载与预处理实战指南：从数据获取到模型训练

1次阅读

没有评论

共计 2685 个字符，预计需要花费 7 分钟才能阅读完成。

Cityscapes 数据集是自动驾驶和计算机视觉领域的重要基准数据集，包含 50 个城市的街道场景图像，像素级标注覆盖 30 个类别。其复杂城市场景和精细标注使其成为语义分割、实例分割等任务的黄金标准。然而，数据集获取存在明显痛点：

官方下载需注册并通过审核（通常需 1 - 2 工作日），对即时性要求高的研究不友好
压缩包总大小超 70GB，普通 HTTP 下载易因网络波动中断
文件校验需手动比对 MD5，缺少自动化工具
预处理时需处理多种标注格式（如 labelIds 与instanceIds的差异）

针对大文件下载，对比三种主流方案：

原生 wget：
优点：系统预装，支持断点续传（-c参数）
缺点：单线程下载，速度受限
aria2：
优点：多线程下载（建议设置 -x16 启用 16 连接）
缺点：需额外安装，参数配置复杂
Python requests 流式下载：
优点：可集成进度条（如 tqdm），异常处理灵活
缺点：需自行实现分块逻辑

推荐组合方案：使用 aria2 加速下载，配合 Python 脚本管理流程。示例脚本：

import os
import subprocess

download_links = [
    "https://www.cityscapes-dataset.com/file1.zip",
    "https://www.cityscapes-dataset.com/file2.zip"
]

for url in download_links:
    cmd = f"aria2c -x16 -s16 -c {url}"  # 16 线程 + 断点续传
    subprocess.run(cmd, shell=True, check=True)

访问Cityscapes 官网
填写机构邮箱（如.edu/.org 更容易通过审核）
审核通过后，在 ”Downloads” 页面获取 leftImg8bit_trainvaltest.zip 等文件链接

以下 Python 脚本实现带校验的下载流程：

import hashlib
import requests
from tqdm import tqdm

def download_file(url, save_path, md5=None):
    """下载文件并校验 MD5"""
    response = requests.get(url, stream=True)
    total_size = int(response.headers.get('content-length', 0))

    with open(save_path, 'wb') as f, tqdm(
        desc=save_path,
        total=total_size,
        unit='iB',
        unit_scale=True
    ) as bar:
        for chunk in response.iter_content(chunk_size=1024):
            size = f.write(chunk)
            bar.update(size)

    if md5:  # 校验环节
        file_md5 = hashlib.md5(open(save_path,'rb').read()).hexdigest()
        assert file_md5 == md5, f"MD5 mismatch: {file_md5} != {md5}"

# 实际调用示例
download_file(
    url="https://example.com/gtFine_trainvaltest.zip",
    save_path="gtFine.zip",
    md5="1d675a2444e1d2a5a2467a756b863c4a"  # 替换为官方提供的 MD5
)

官方提供 MD5 校验文件，可通过以下命令快速验证：

md5sum -c checksums.md5  # Linux
certutil -hashfile gtFine.zip MD5  # Windows

常见错误处理：

校验失败：删除不完整文件重新下载
解压错误 ：使用unzip -t 测试压缩包完整性
权限问题 ：对gtFine 目录需 chmod -R 755 确保可读

解压后关键目录：

cityscapes/
├── leftImg8bit/          # 原始图像
│   ├── train/
│   └── val/
└── gtFine/               # 标注文件
    ├── train/
    └── val/

使用 OpenCV 加载图像与标签：

import cv2
import numpy as np

# 加载图像和标签
img = cv2.imread("leftImg8bit/train/aachen/aachen_000000_000019_leftImg8bit.png")
label = cv2.imread("gtFine/train/aachen/aachen_000000_000019_gtFine_labelIds.png", cv2.IMREAD_GRAYSCALE)

# 可视化标签（示例：将道路标为红色）mask = (label == 7)  # 7 为道路类别 ID
img[mask] = [0, 0, 255]

cv2.imshow("Preview", img)
cv2.waitKey(0)

对于大规模数据，推荐使用内存映射（mmap）减少 IO 开销：

import numpy as np

# 创建内存映射文件
mmap_img = np.memmap(
    "temp.mmap",
    dtype=np.uint8,
    mode="w+",
    shape=(2975, 2048, 3)  # 根据实际图像尺寸调整
)

# 写入数据
mmap_img[:] = img