CelebA数据集实战指南：从数据预处理到模型训练的最佳实践

1次阅读

共计 2468 个字符，预计需要花费 7 分钟才能阅读完成。

CelebA（CelebFaces Attributes Dataset）是香港中文大学发布的公开人脸数据集，包含 202,599 张名人面部图像，每张图像标注了 40 种二元属性（如是否戴眼镜、是否微笑等）和 5 个关键点位置。作为人脸识别领域的基准数据集，其优势在于：

数据规模大：覆盖 10,177 个身份，适合训练深度神经网络
标注丰富：同时支持分类、检测、分割等多任务研究
场景多样：包含复杂背景、姿势变化和遮挡情况

实际使用时开发者常遇到以下挑战：

加载效率问题：直接读取所有图像会消耗 15GB+ 内存，普通 PC 无法承受
标注处理复杂：40 维属性需要特殊编码处理，关键点需对齐预处理
数据不均衡：某些属性（如胡子、眼镜）正负样本比例悬殊
预处理耗时：传统方法处理全部图像可能需要数小时

使用生成器逐批加载数据，避免内存爆炸：

import os
import pandas as pd
from PIL import Image

class CelebALoader:
    def __init__(self, img_dir, attr_path, batch_size=32):
        self.img_dir = img_dir
        self.attrs = pd.read_csv(attr_path)
        self.batch_size = batch_size

    def __iter__(self):
        for i in range(0, len(self.attrs), self.batch_size):
            batch_files = self.attrs.iloc[i:i+self.batch_size]['image_id']
            batch_attrs = self.attrs.iloc[i:i+self.batch_size, 1:].values

            images = [Image.open(os.path.join(self.img_dir, fn))
                for fn in batch_files
            ]
            yield images, batch_attrs.astype('float32')

结合 OpenCV 和 Albumentations 实现高性能预处理：

import albumentations as A

preprocess = A.Compose([A.Resize(256, 256),  # 统一尺寸
    A.HorizontalFlip(p=0.5),  # 水平翻转
    A.RandomBrightnessContrast(p=0.2),  # 亮度对比度调整
    A.Normalize(mean=[0.485, 0.456, 0.406], std=[0.229, 0.224, 0.225])
], keypoint_params=A.KeypointParams(format='xy'))

# 使用示例
def apply_augmentations(img, landmarks):
    augmented = preprocess(image=img, keypoints=landmarks)
    return augmented['image'], augmented['keypoints']

构建简单的多标签分类模型：

import torch
import torch.nn as nn

class CelebAModel(nn.Module):
    def __init__(self):
        super().__init__()
        self.backbone = torch.hub.load('pytorch/vision', 'resnet18', pretrained=True)
        self.classifier = nn.Linear(1000, 40)  # 40 个属性

    def forward(self, x):
        features = self.backbone(x)
        return torch.sigmoid(self.classifier(features))

# 训练循环关键代码
criterion = nn.BCELoss()
optimizer = torch.optim.Adam(model.parameters(), lr=1e-4)

for epoch in range(10):
    for images, labels in dataloader:
        outputs = model(images)
        loss = criterion(outputs, labels)

        optimizer.zero_grad()
        loss.backward()
        optimizer.step()

内存泄漏问题：
错误现象：训练时内存持续增长
解决方案：确保 DataLoader 设置num_workers=0（Windows）或使用torch.multiprocessing.set_start_method('spawn')
属性不平衡处理：
错误现象：模型总是预测负类
解决方案：对稀有属性采用加权损失函数pos_weight=torch.tensor([...])
图像尺寸不一致：
错误现象：批处理时报维度错误
解决方案：预处理时强制 resize 或使用 collate_fn 自定义批处理逻辑
关键点偏移：
错误现象：增强后关键点位置错误
解决方案：Albumentations 中确认正确设置keypoint_params