CIFAR-10数据集下载与预处理全指南：从理论到实践

1次阅读

共计 2784 个字符，预计需要花费 7 分钟才能阅读完成。

CIFAR-10 是计算机视觉领域最经典的基准数据集之一，由 60000 张 32×32 像素的彩色图片组成，分为 10 个类别（飞机、汽车、鸟、猫等），每个类别 6000 张。其中 50000 张为训练集，10000 张为测试集。这个数据集虽然图片尺寸小，但包含了丰富的物体类别和场景变化，非常适合用来验证和比较不同模型的性能。

在机器学习社区中，CIFAR-10 常被用于：

图像分类算法的基准测试
深度学习模型的入门教学
计算机视觉研究的概念验证

最直接的方式是从官方页面下载（https://www.cs.toronto.edu/~kriz/cifar.html），但国内访问速度可能较慢。

推荐使用国内镜像源，如清华镜像站：

# 使用 wget 从清华镜像下载
import os
os.system('wget https://mirrors.tuna.tsinghua.edu.cn/apache/cifar/10/cifar-10-python.tar.gz')

主流框架都内置了 CIFAR-10 的下载接口：

# TensorFlow 方式
import tensorflow as tf
(x_train, y_train), (x_test, y_test) = tf.keras.datasets.cifar10.load_data()

# PyTorch 方式
import torchvision
trainset = torchvision.datasets.CIFAR10(root='./data', train=True, download=True)

下载方式对比 ：

官方下载：稳定但速度慢
镜像下载：速度快但需要手动处理
API 下载：最方便但依赖框架

import tarfile

def extract_cifar10(filename):
    with tarfile.open(filename, 'r:gz') as tar:
        tar.extractall(path='./cifar10_data')

原始数据是二进制格式，需要转换为 numpy 数组：

def unpickle(file):
    import pickle
    with open(file, 'rb') as fo:
        dict = pickle.load(fo, encoding='bytes')
    return dict

# 加载单个 batch
data = unpickle('cifar10_data/cifar-10-batches-py/data_batch_1')
images = data[b'data'].reshape(-1, 3, 32, 32).transpose(0, 2, 3, 1)
labels = data[b'labels']

# 将像素值从 0 -255 缩放到 0 -1
images = images.astype('float32') / 255.0

# 也可以使用均值归一化
mean = [0.4914, 0.4822, 0.4465]
std = [0.2023, 0.1994, 0.2010]
images = (images - mean) / std

对于小尺寸图像，数据增强尤其重要：

from tensorflow.keras.preprocessing.image import ImageDataGenerator

datagen = ImageDataGenerator(
    rotation_range=15,
    width_shift_range=0.1,
    height_shift_range=0.1,
    horizontal_flip=True,
    zoom_range=0.1
)

import torchvision.transforms as transforms

transform = transforms.Compose([transforms.RandomCrop(32, padding=4),
    transforms.RandomHorizontalFlip(),
    transforms.ToTensor(),
    transforms.Normalize(mean=[0.485, 0.456, 0.406], std=[0.229, 0.224, 0.225])
])

使用国内镜像源
设置代理
使用框架内置下载（会自动寻找最快源）

使用生成器而非一次性加载
降低 batch size
使用 TFRecords 格式存储

# CIFAR-10 官方标签顺序
class_names = ['airplane', 'automobile', 'bird', 'cat', 'deer',
               'dog', 'frog', 'horse', 'ship', 'truck']

将数据转换为 TFRecords 可以显著提高 IO 效率：

def _bytes_feature(value):
    return tf.train.Feature(bytes_list=tf.train.BytesList(value=[value]))

def write_tfrecord(images, labels, filename):
    writer = tf.io.TFRecordWriter(filename)
    for img, lbl in zip(images, labels):
        feature = {'image': _bytes_feature(img.tobytes()),
            'label': _bytes_feature(lbl.tobytes())
        }
        example = tf.train.Example(features=tf.train.Features(feature=feature))
        writer.write(example.SerializeToString())
    writer.close()

# TensorFlow 方式
dataset = tf.data.Dataset.from_tensor_slices((x_train, y_train))
dataset = dataset.shuffle(buffer_size=10000).batch(64).prefetch(tf.data.AUTOTUNE)