CelebA数据集实战指南：从数据预处理到模型训练的最佳实践

1次阅读

共计 2048 个字符，预计需要花费 6 分钟才能阅读完成。

CelebA（CelebFaces Attributes Dataset）是香港中文大学发布的大规模人脸属性数据集，包含 202,599 张名人面部图像，每张图像标注有 40 种二元属性（如是否戴眼镜、是否微笑等）和 5 个关键点坐标。作为人脸识别领域的基准数据集，其优势在于：

数据规模：20 万 + 图像满足深度学习需求
标注丰富：多维度属性支持细粒度分类任务
多样性：涵盖不同姿态、背景和光照条件

实际使用中常遇到以下挑战：

加载效率问题：原始数据为未压缩的 JPEG 文件（总计约 1.3GB），直接读取会导致 IO 瓶颈
标注复杂性 ：list_attr_celeba.txt 文件需要特殊解析（属性值为 1 /-1）
内存压力：全量加载图像会消耗约 15GB 内存
数据不均衡：部分属性（如 ” 胡子 ”）正负样本比例悬殊

使用 Pandas 解析属性文件，配合生成器实现懒加载：

import pandas as pd
from pathlib import Path

class CelebADataset:
    def __init__(self, img_dir, attr_path):
        self.img_dir = Path(img_dir)
        # 跳过首行（图片数）和次行（属性名）self.attributes = pd.read_csv(attr_path, delim_whitespace=True, skiprows=1)

    def __len__(self):
        return len(self.attributes)

    def __getitem__(self, idx):
        img_name = self.attributes.index[idx]
        img_path = self.img_dir / img_name
        # 实际读取时再加载图像，避免内存爆炸
        img = cv2.imread(str(img_path))
        attrs = self.attributes.iloc[idx].values  # 40 维属性向量
        return img, attrs

使用 Albumentations 实现高效增强：

import albumentations as A

train_transform = A.Compose([A.Resize(256, 256),
    A.RandomCrop(224, 224),
    A.HorizontalFlip(p=0.5),
    A.RandomBrightnessContrast(p=0.2),
    A.Normalize(mean=[0.485, 0.456, 0.406], 
                std=[0.229, 0.224, 0.225])
])

使用 torch.utils.data.DataLoader 的num_workers参数并行加载
将图像存储为 HDF5 格式减少小文件 IO
对频繁使用的预处理结果进行缓存

构建简单的属性分类模型：

import torch.nn as nn

class AttrClassifier(nn.Module):
    def __init__(self):
        super().__init__()
        self.backbone = nn.Sequential(nn.Conv2d(3, 64, kernel_size=3, padding=1),
            nn.ReLU(),
            nn.MaxPool2d(2),
            # 更多层...
        )
        self.head = nn.Linear(512, 40)  # 输出 40 个属性

    def forward(self, x):
        features = self.backbone(x)
        return torch.sigmoid(self.head(features))

自定义损失函数处理样本不平衡：

pos_weight = torch.tensor([5.0 if attr == 'Male' else 1.0 
                          for attr in ATTR_NAMES])  # 示例权重
criterion = nn.BCEWithLogitsLoss(pos_weight=pos_weight)