CIFAR-10 数据集高效下载与预处理实战指南

1次阅读

共计 2071 个字符，预计需要花费 6 分钟才能阅读完成。

CIFAR-10 是计算机视觉领域的基准数据集，包含 60000 张 32×32 彩色图像，分为 10 个类别。它常被用于：

图像分类模型（如 ResNet、VGG）的快速验证
新算法的原型开发与性能测试
深度学习教学案例

下载方式	平均速度	稳定性	适用场景
官方源	200KB/s	★★☆☆☆	需要原始数据
高校镜像	2MB/s	★★★★☆	国内用户首选
AWS 公开数据集	5MB/s	★★★★★	云环境开发

import requests
from tqdm import tqdm
import os
import hashlib

# 配置参数
MIRROR_URL = 'https://www.cs.toronto.edu/~kriz/cifar-10-python.tar.gz'
LOCAL_PATH = './data/cifar-10-python.tar.gz'
EXPECTED_MD5 = 'c58f30108f718f92721af3b95e74349a'

# 带进度条的下载函数
def download_file():
    os.makedirs(os.path.dirname(LOCAL_PATH), exist_ok=True)

    # 断点续传检查
    if os.path.exists(LOCAL_PATH):
        resume_header = {'Range': f'bytes={os.path.getsize(LOCAL_PATH)}-'}
    else:
        resume_header = {}

    with requests.get(MIRROR_URL, headers=resume_header, stream=True) as r:
        r.raise_for_status()
        total_size = int(r.headers.get('content-length', 0))

        with open(LOCAL_PATH, 'ab' if resume_header else 'wb') as f, \
             tqdm(total=total_size, unit='B', unit_scale=True) as pbar:

            for chunk in r.iter_content(chunk_size=8192):
                f.write(chunk)
                pbar.update(len(chunk))

    # MD5 校验
    with open(LOCAL_PATH, 'rb') as f:
        file_hash = hashlib.md5(f.read()).hexdigest()

    if file_hash != EXPECTED_MD5:
        os.remove(LOCAL_PATH)
        raise ValueError('文件校验失败，请重新下载')

解压与加载

import tarfile
import pickle
import numpy as np

# 解压函数
def extract_data():
    with tarfile.open(LOCAL_PATH) as tar:
        tar.extractall(path='./data')

    # 加载数据
    def unpickle(file):
        with open(file, 'rb') as fo:
            return pickle.load(fo, encoding='bytes')

    train_data = []
    for i in range(1, 6):
        batch = unpickle(f'./data/cifar-10-batches-py/data_batch_{i}')
        train_data.append(batch[b'data'])

    return np.vstack(train_data)

标准化处理

from sklearn.preprocessing import StandardScaler

# 像素值归一化
def normalize_data(data):
    scaler = StandardScaler()
    return scaler.fit_transform(data.astype('float32') / 255)

def create_memmap(data):
    mmap_path = './data/cifar10.mmap'

    if not os.path.exists(mmap_path):
        np.save(mmap_path, data)

    return np.load(mmap_path, mmap_mode='r+')