ADE20K数据集下载与预处理全指南：从数据获取到实战应用

1次阅读

共计 2563 个字符，预计需要花费 7 分钟才能阅读完成。

作为计算机视觉领域广泛使用的语义分割数据集，ADE20K 包含 2 万 + 张带精细标注的图像。但在实际使用中，开发者常遇到以下问题：

下载速度慢：官方源在国外，单线程下载常因网络波动中断
存储压力大：原始压缩包约 3.5GB，解压后超过 20GB
标注解析复杂：Mat 标注文件需要特殊处理才能转换为常用 mask 格式
IO 瓶颈明显：直接读取大尺寸 PNG 图像会拖慢数据管道

原生 wget：
优点：系统自带无需安装
缺点：无断点续传，网络差时需手动重试
wget 批量脚本：
支持断点续传和并行下载
示例：wget -c -i url_list.txt -P ./downloads
云存储同步：
适合团队协作（如 AWS S3 同步）
需额外存储成本

工具	解压速度	内存占用	适用场景
原生 unzip	慢	低	临时小文件
pigz	快	中	多核服务器
7zip	最快	高	本地开发环境

import os
from concurrent.futures import ThreadPoolExecutor
import requests

# 官方下载链接示例
URLS = [
    'http://data.csail.mit.edu/places/ADEchallenge/ADE20K_2021_17_01.zip',
    'http://data.csail.mit.edu/places/ADEchallenge/ADE20K_2021_17_02.zip'
]

def download_file(url, save_path):
    """支持断点续传的下载函数"""
    # 检查本地已下载部分
    if os.path.exists(save_path):
        file_size = os.path.getsize(save_path)
        headers = {'Range': f'bytes={file_size}-'}
    else:
        file_size = 0
        headers = {}

    # 发起下载请求
    with requests.get(url, headers=headers, stream=True) as r:
        r.raise_for_status()
        with open(save_path, 'ab') as f:
            for chunk in r.iter_content(chunk_size=8192):
                f.write(chunk)
    return True

# 并行下载示例
with ThreadPoolExecutor(max_workers=4) as executor:
    futures = []
    for idx, url in enumerate(URLS):
        save_path = f'ADE20K_part_{idx}.zip'
        futures.append(executor.submit(download_file, url, save_path))

import h5py
import numpy as np
from PIL import Image

def convert_mat_to_mask(mat_path, output_dir):
    """将 MAT 标注转换为 PNG mask"""
    with h5py.File(mat_path, 'r') as f:
        # ADE20K 标注存储在 '/label' 字段
        mask = np.array(f['label']).astype(np.uint8).T  # 注意转置操作

    # 保存为 8bit PNG
    mask_img = Image.fromarray(mask)
    output_path = os.path.join(output_dir, os.path.basename(mat_path).replace('.mat', '.png'))
    mask_img.save(output_path)

import cv2
import numpy as np

# 使用内存映射读取大图像
def read_large_image(path):
    return cv2.imread(path, cv2.IMREAD_UNCHANGED)

# 替代方案：分块读取
class ChunkedImageReader:
    def __init__(self, path, chunk_size=1024):
        self.path = path
        self.chunk_size = chunk_size
        self.shape = cv2.imread(path, cv2.IMREAD_UNCHANGED).shape

    def get_chunk(self, y_slice, x_slice):
        """读取指定区域的图像块"""
        return cv2.imread(self.path)[y_slice, x_slice]

# 使用 GNU parallel 加速解压
find . -name "*.zip" | parallel -j 8 unzip -d {.} {}

数据校验：
官方提供 MD5 校验码
使用命令：md5sum -c checksums.md5
损坏压缩包处理：
尝试修复：zip -FF corrupt.zip --out repaired.zip
使用 7zip 强制解压：7z x -y corrupt.zip
跨平台路径：
始终使用 pathlib.Path 代替 os.path

示例：

from pathlib import Path
dataset_dir = Path('ADE20K')
image_path = dataset_dir / 'images' / 'training' / 'ADE_train_0001.jpg'

TFRecord：适合 TensorFlow 流水线
LMDB：内存映射数据库，随机访问快
Zarr：支持分块压缩存储

ADE20K/
├── images/
│   ├── training/
│   └── validation/
├── masks/
│   ├── training/
│   └── validation/
└── meta/
    ├── class_names.txt
    └── color_map.json

如何设计适应不同分辨率的数据加载器？考虑以下方向：