CIFAR-10数据集下载与预处理全指南：从理论到实践

1次阅读

共计 1841 个字符，预计需要花费 5 分钟才能阅读完成。

CIFAR-10 是计算机视觉领域最常用的基准数据集之一，由 60000 张 32×32 像素的彩色图片组成，分为 10 个类别（飞机、汽车、鸟等），每个类别 6000 张。其中 50000 张为训练集，10000 张为测试集。由于其适中的规模和丰富的类别，常被用于验证新算法的有效性。

官方渠道
直接访问官网下载
优点：数据源最可靠
缺点：国外服务器下载速度较慢
镜像站点
推荐使用国内镜像（如清华镜像源）

示例命令：

wget https://mirrors.tuna.tsinghua.edu.cn/apache/cifar-10-binary.tar.gz

通过深度学习框架内置 API

TensorFlow/Keras:

from tensorflow.keras.datasets import cifar10
(x_train, y_train), (x_test, y_test) = cifar10.load_data()

PyTorch:

import torchvision.datasets as datasets
cifar_trainset = datasets.CIFAR10(root='./data', train=True, download=True)

数据解压

import tarfile
with tarfile.open('cifar-10-python.tar.gz', 'r:gz') as tar:
    tar.extractall()

格式转换与归一化

# 转换为 float32 并归一化到 0 - 1 范围
x_train = x_train.astype('float32') / 255.0
x_test = x_test.astype('float32') / 255.0

标签 one-hot 编码

from tensorflow.keras.utils import to_categorical
y_train = to_categorical(y_train, 10)
y_test = to_categorical(y_test, 10)

基本增强组合

from tensorflow.keras.preprocessing.image import ImageDataGenerator

datagen = ImageDataGenerator(
    rotation_range=15,
    width_shift_range=0.1,
    height_shift_range=0.1,
    horizontal_flip=True
)
datagen.fit(x_train)

Cutout 增强

# 需要安装 albumentations 库
import albumentations as A

transform = A.Compose([A.Cutout(num_holes=1, max_h_size=8, max_w_size=8, p=0.5)
])

内存不足问题
使用生成器 (generator) 代替全量加载

示例代码：

def data_generator(images, labels, batch_size):
    num_samples = len(images)
    while True:
        for offset in range(0, num_samples, batch_size):
            batch_images = images[offset:offset+batch_size]
            batch_labels = labels[offset:offset+batch_size]
            yield batch_images, batch_labels

数据格式不匹配
PyTorch 需要将 numpy 数组转换为 tensor
注意通道顺序：TensorFlow(H,W,C) vs PyTorch(C,H,W)

使用 TFRecord 格式
将数据转换为 TFRecord 可显著提高 IO 性能
适合大规模分布式训练

预加载与缓存

# TensorFlow 缓存示例
train_dataset = tf.data.Dataset.from_tensor_slices((x_train, y_train))
train_dataset = train_dataset.cache().shuffle(1000).batch(64)