CIFAR-10数据集详解：从入门到实战的深度学习指南

1次阅读

共计 3580 个字符，预计需要花费 9 分钟才能阅读完成。

CIFAR-10 是计算机视觉领域最经典的基准数据集之一，由 Alex Krizhevsky、Vinod Nair 和 Geoffrey Hinton 整理发布。这个数据集在深度学习发展史上具有里程碑意义，特别是在卷积神经网络 (CNN) 的研究中扮演了重要角色。

基本组成：包含 10 个类别的 60000 张 32×32 彩色图像，每个类别 6000 张
数据划分：50000 张训练图像和 10000 张测试图像
应用场景：广泛用于图像分类算法的基准测试、模型架构研究和新方法的验证
重要性：由于图像尺寸小、类别平衡、计算资源需求适中，特别适合教学和算法快速验证

CIFAR-10 的数据存储采用二进制格式，每个样本包含 3072 个字节(32x32x3)。让我们深入了解其内部结构：

类别分布：10 个互斥类别（飞机、汽车、鸟、猫、鹿、狗、青蛙、马、船、卡车）
文件结构：
Python 版本通常包含 5 个训练 batch 文件和 1 个测试 batch 文件
每个 batch 文件包含 10000 张图像及其标签
数据可视化：

import matplotlib.pyplot as plt
import numpy as np

# 加载单个 batch 数据示例
def load_batch(file):
    import pickle
    with open(file, 'rb') as fo:
        dict = pickle.load(fo, encoding='bytes')
    return dict[b'data'], dict[b'labels']

data, labels = load_batch('data_batch_1')
# 显示第一张图片
img = data[0].reshape(3,32,32).transpose(1,2,0)
plt.imshow(img)
plt.title(f'Label: {labels[0]}')
plt.show()

正确的数据预处理对模型性能至关重要。以下是使用 PyTorch 的完整预处理流程：

import torch
import torchvision
import torchvision.transforms as transforms

# 定义数据增强和归一化
transform_train = transforms.Compose([transforms.RandomCrop(32, padding=4),
    transforms.RandomHorizontalFlip(),
    transforms.ToTensor(),
    transforms.Normalize((0.4914, 0.4822, 0.4465), (0.2023, 0.1994, 0.2010)),
])

transform_test = transforms.Compose([transforms.ToTensor(),
    transforms.Normalize((0.4914, 0.4822, 0.4465), (0.2023, 0.1994, 0.2010)),
])

# 加载数据集
trainset = torchvision.datasets.CIFAR10(root='./data', train=True, download=True, transform=transform_train)
trainloader = torch.utils.data.DataLoader(trainset, batch_size=128, shuffle=True, num_workers=2)

testset = torchvision.datasets.CIFAR10(root='./data', train=False, download=True, transform=transform_test)
testloader = torch.utils.data.DataLoader(testset, batch_size=100, shuffle=False, num_workers=2)

# 类别名称
classes = ('plane', 'car', 'bird', 'cat', 'deer', 
           'dog', 'frog', 'horse', 'ship', 'truck')

下面是一个简单的 CNN 实现，适合 CIFAR-10 分类任务：

import torch.nn as nn
import torch.nn.functional as F

class SimpleCNN(nn.Module):
    def __init__(self):
        super().__init__()
        self.conv1 = nn.Conv2d(3, 32, 3, padding=1)
        self.conv2 = nn.Conv2d(32, 64, 3, padding=1)
        self.pool = nn.MaxPool2d(2, 2)
        self.fc1 = nn.Linear(64 * 8 * 8, 512)
        self.fc2 = nn.Linear(512, 10)
        self.dropout = nn.Dropout(0.25)

    def forward(self, x):
        x = F.relu(self.conv1(x))
        x = self.pool(F.relu(self.conv2(x)))
        x = torch.flatten(x, 1)
        x = F.relu(self.fc1(x))
        x = self.dropout(x)
        x = self.fc2(x)
        return x

# 训练循环
import torch.optim as optim

net = SimpleCNN()
criterion = nn.CrossEntropyLoss()
optimizer = optim.SGD(net.parameters(), lr=0.01, momentum=0.9)

for epoch in range(10):  # 循环遍历数据集多次
    running_loss = 0.0
    for i, data in enumerate(trainloader, 0):
        inputs, labels = data
        optimizer.zero_grad()
        outputs = net(inputs)
        loss = criterion(outputs, labels)
        loss.backward()
        optimizer.step()

        running_loss += loss.item()
        if i % 100 == 99:    # 每 100 个 mini-batches 打印一次
            print(f'[{epoch + 1}, {i + 1:5d}] loss: {running_loss / 100:.3f}')
            running_loss = 0.0

print('Finished Training')

提升 CIFAR-10 模型性能的几个关键点：