CIFAR-10数据集下载与预处理全指南：从原理到实践

1次阅读

共计 1930 个字符，预计需要花费 5 分钟才能阅读完成。

CIFAR-10 是计算机视觉领域最常用的基准数据集之一，但在实际使用中，开发者常常遇到以下问题：

网络连接不稳定 ：官方下载源位于国外，国内开发者可能因网络问题导致下载失败
数据格式复杂 ：原始数据以二进制格式存储，需要额外处理才能转换为常用图像格式
预处理效率低下 ：大规模数据增强操作可能耗费大量计算资源
版本兼容性问题 ：不同预处理库对图像数据的处理方式存在差异

wget
优点：命令行工具，支持断点续传
缺点：需要手动处理解压
curl
优点：支持多种协议
缺点：功能相对简单
Python requests
优点：可编程性强，易于集成到项目中
缺点：需要额外处理下载进度

Pillow
优点：轻量级，API 简单
缺点：功能相对有限
OpenCV
优点：性能优异，功能丰富
缺点：安装较复杂
TensorFlow/Keras
优点：深度集成，适合端到端项目
缺点：灵活性较低

import os
import tarfile
import urllib.request

# 下载函数
def download_cifar10():
    url = "https://www.cs.toronto.edu/~kriz/cifar-10-python.tar.gz"
    save_path = "cifar-10-python.tar.gz"

    # 显示下载进度
    def show_progress(count, block_size, total_size):
        percent = int(count * block_size * 100 / total_size)
        print(f"Downloading: {percent}%", end="\r")

    urllib.request.urlretrieve(url, save_path, show_progress)
    print("\nDownload completed!")

    # 解压文件
    with tarfile.open(save_path) as tar:
        tar.extractall()

    # 删除压缩包
    os.remove(save_path)

import numpy as np
import pickle
from PIL import Image

# 数据加载函数
def load_cifar10_batch(file_path):
    with open(file_path, 'rb') as f:
        batch = pickle.load(f, encoding='latin1')

    # 转换数据格式
    images = batch['data'].reshape(-1, 3, 32, 32).transpose(0, 2, 3, 1)
    labels = batch['labels']

    return images, labels

# 数据增强示例
def augment_image(image):
    # 随机水平翻转
    if np.random.random() > 0.5:
        image = image[:, ::-1, :]

    # 随机裁剪
    pad = 4
    image = np.pad(image, [(pad, pad), (pad, pad), (0, 0)], mode='reflect')
    h, w = image.shape[:2]
    new_h, new_w = 32, 32

    top = np.random.randint(0, h - new_h)
    left = np.random.randint(0, w - new_w)

    image = image[top:top+new_h, left:left+new_w, :]

    return image

我们对不同预处理方法进行了性能比较（测试环境：Intel i7-9700K CPU）：