CIFAR100数据集下载与预处理实战指南：从零开始构建深度学习数据集

1次阅读

共计 2614 个字符，预计需要花费 7 分钟才能阅读完成。

CIFAR100 是深度学习领域广泛使用的基准数据集之一，由 60000 张 32×32 像素的彩色图片组成，包含 100 个精细分类（如 ” 苹果 ”、” 摩托车 ”）和 20 个粗分类（如 ” 水果 ”、” 车辆 ”）。每个类别有 500 张训练图片和 100 张测试图片。由于其适中的规模和丰富的类别，常被用于图像分类、迁移学习等任务的模型验证。

访问官方网站(https://www.cs.toronto.edu/~kriz/cifar.html)
下载 ”CIFAR-100 python version” 压缩包(约 160MB)
解压后得到 train 和test二进制文件
优点：原始数据来源，版本稳定
缺点：需手动解压和处理，无内置预处理

import tensorflow_datasets as tfds
ds = tfds.load('cifar100', split='train', shuffle_files=True)

优点：一行代码自动下载解压，内置标准化 / 切分功能
缺点：需额外安装库，网络不稳定时可能中断

import torchvision
trainset = torchvision.datasets.CIFAR100(root='./data', train=True, download=True)

优点：与 PyTorch 生态无缝集成
缺点：下载速度可能较慢

原始 Python 版本的数据使用 pickle 序列化存储，结构为：

{'data': ndarray(50000x3072),  # 每行 32x32x3=3072 个像素(RGB 通道连续)
    'fine_labels': list[50000],   # 0-99 的精细标签
    'coarse_labels': list[50000]  # 0-19 的粗标签
}

import pickle

def unpickle(file):
    with open(file, 'rb') as fo:
        dict = pickle.load(fo, encoding='bytes')
    return dict

train_data = unpickle('cifar-100-python/train')
# 转换数据形状为(N,H,W,C)
images = train_data[b'data'].reshape(-1, 3, 32, 32).transpose(0, 2, 3, 1)

import tensorflow as tf
from tensorflow.keras import layers

# 数据增强预处理
def preprocess(image, label):
    image = tf.image.random_flip_left_right(image)
    image = tf.image.random_brightness(image, max_delta=0.2)
    return image/255.0, label

# 创建数据管道
def make_tf_dataset(batch_size=64):
    (train_ds, test_ds), info = tfds.load(
        'cifar100',
        split=['train', 'test'],
        as_supervised=True,
        with_info=True
    )

    train_ds = train_ds.map(preprocess).shuffle(1000).batch(batch_size)
    test_ds = test_ds.map(lambda x,y: (x/255.0, y)).batch(batch_size)
    return train_ds, test_ds, info

import torch
from torchvision import transforms

# 定义增强变换
train_transform = transforms.Compose([transforms.RandomHorizontalFlip(),
    transforms.RandomRotation(15),
    transforms.ToTensor(),
    transforms.Normalize(mean=[0.507, 0.487, 0.441], std=[0.267, 0.256, 0.276])
])

test_transform = transforms.Compose([transforms.ToTensor(),
    transforms.Normalize(mean=[0.507, 0.487, 0.441], std=[0.267, 0.256, 0.276])
])

# 创建数据集
trainset = torchvision.datasets.CIFAR100(
    root='./data', 
    train=True,
    download=True, 
    transform=train_transform
)

trainloader = torch.utils.data.DataLoader(
    trainset, 
    batch_size=64,
    shuffle=True,
    num_workers=2
)