CIFAR-100数据集下载与预处理全指南：从理论到实践

1次阅读

没有评论

共计 2082 个字符，预计需要花费 6 分钟才能阅读完成。

CIFAR-100 是计算机视觉领域的经典基准数据集，包含 100 个类别的 60000 张 32×32 彩色图像，每个类别有 600 张图像（500 训练 +100 测试）。它在以下场景中广泛使用：

图像分类模型（Image Classification）的基准测试
迁移学习（Transfer Learning）的预训练数据源
轻量级神经网络（如 MobileNet）的性能验证

原始下载源（University of Toronto）在国内访问较慢，推荐使用国内镜像：

清华大学开源镜像站：https://mirrors.tuna.tsinghua.edu.cn/
上海交通大学镜像源：https://ftp.sjtu.edu.cn/

错误 1 ：UnpicklingError（pickle 版本不兼容）
错误 2 ：KeyError: b'data'（文件结构误解）

使用生成器（Generator）替代全量加载
启用 tf.data.Dataset.cache() 的磁盘缓存
降低图像分辨率（如 32×32→28×28）

import requests
from pathlib import Path

def download_with_resume(url: str, save_path: Path, chunk_size=8192) -> None:
    headers = {}
    if save_path.exists():
        headers = {'Range': f'bytes={save_path.stat().st_size}-'}

    with requests.get(url, headers=headers, stream=True, timeout=30) as r:
        r.raise_for_status()
        total_size = int(r.headers.get('content-length', 0)) + save_path.stat().st_size

        with open(save_path, 'ab') as f:
            with tqdm(total=total_size, unit='B', unit_scale=True) as pbar:
                for chunk in r.iter_content(chunk_size=chunk_size):
                    if chunk:
                        f.write(chunk)
                        pbar.update(len(chunk))

方法	解析耗时（50000 张）	内存峰值
pickle	1.2s	1.8GB
h5py	0.8s	0.9GB

import tensorflow as tf

def build_pipeline(images, labels, batch_size=32, is_train=True):
    ds = tf.data.Dataset.from_tensor_slices((images, labels))

    if is_train:
        ds = ds.shuffle(1000)
        ds = ds.map(lambda x,y: (augment(x), y), num_parallel_calls=tf.data.AUTOTUNE)

    ds = ds.batch(batch_size)
    ds = ds.prefetch(tf.data.AUTOTUNE)
    ds = ds.cache('/tmp/cifar_cache')  # 磁盘缓存
    return ds

augment = tf.keras.Sequential([tf.keras.layers.RandomFlip("horizontal"),
    tf.keras.layers.RandomRotation(0.1),
    tf.keras.layers.RandomZoom(0.1),
    tf.keras.layers.RandomContrast(0.1)
])

strategy = tf.distribute.MirroredStrategy()
with strategy.scope():
    ds = strategy.experimental_distribute_dataset(ds)

import unittest

class TestPreprocess(unittest.TestCase):
    def test_shape(self):
        img, _ = next(iter(train_ds))
        self.assertEqual(img.shape, (32, 32, 3))