AffectNet数据集下载与预处理全指南：解决大规模情感分析数据获取难题

1次阅读

共计 2830 个字符，预计需要花费 8 分钟才能阅读完成。

AffectNet 是当前最大规模的面部表情识别数据集之一，包含超过 100 万张人脸图像，标注了 8 种基本情绪和连续维度的情感值。在情感计算、人机交互等领域具有不可替代的研究价值。但在实际使用中，研究者常遇到以下问题：

官网访问不稳定：服务器位于海外，国内直接下载速度极慢且容易中断
手动下载效率低下：数据集分多个压缩包存储，手动下载需处理近百个独立文件
预处理复杂度高：原始图像包含背景干扰，需精确提取面部 ROI 才能用于模型训练

访问 AffectNet 官网提交研究用途说明
特别注意：必须提供机构邮箱（避免使用 gmail 等免费邮箱）
伦理审查要点：声明不将数据用于商业用途、不重新分发原始数据

import requests
import hashlib
from pathlib import Path

# 配置参数
BASE_URL = "http://example.com/affectnet/"  # 替换为实际下载地址
CHUNK_SIZE = 1024 * 1024  # 1MB 分块下载
MAX_RETRY = 3

def download_file(url, save_path):
    # 断点续传实现
    if save_path.exists():
        resume_header = {'Range': f'bytes={save_path.stat().st_size}-'}
        response = requests.get(url, headers=resume_header, stream=True)
    else:
        response = requests.get(url, stream=True)

    # 分块写入文件
    with open(save_path, 'ab') as f:
        for chunk in response.iter_content(CHUNK_SIZE):
            f.write(chunk)

    # MD5 校验
    if not verify_md5(save_path):
        save_path.unlink()  # 删除损坏文件
        raise ValueError("File verification failed")

def verify_md5(file_path):
    # 实际使用需替换为官方提供的 MD5 值
    expected_md5 = "a1b2c3d4e5f6..."  
    md5_hash = hashlib.md5()
    with open(file_path, 'rb') as f:
        for chunk in iter(lambda: f.read(4096), b""):
            md5_hash.update(chunk)
    return md5_hash.hexdigest() == expected_md5

推荐使用 Dlib 的 68 点检测模型，平衡精度与速度：

import dlib
import cv2

# 初始化检测器
detector = dlib.get_frontal_face_detector()
predictor = dlib.shape_predictor("shape_predictor_68_face_landmarks.dat")

def extract_face(image_path, output_size=224):
    img = cv2.imread(image_path)
    gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)

    # 检测人脸
    faces = detector(gray)
    if len(faces) == 0:
        return None

    # 获取关键点
    landmarks = predictor(gray, faces[0])
    points = [(p.x, p.y) for p in landmarks.parts()]

    # 计算裁剪区域（扩展 20% 边界）x_coords = [p[0] for p in points]
    y_coords = [p[1] for p in points]
    min_x, max_x = min(x_coords), max(x_coords)
    min_y, max_y = min(y_coords), max(y_coords)

    # 执行裁剪和缩放
    face_img = img[min_y:max_y, min_x:max_x]
    return cv2.resize(face_img, (output_size, output_size))

transform = transforms.Compose([transforms.ToPILImage(),
    transforms.RandomHorizontalFlip(p=0.5),
    transforms.ColorJitter(brightness=0.2, contrast=0.2, saturation=0.2),
    transforms.RandomRotation(degrees=10),
    transforms.ToTensor(),
    transforms.Normalize(mean=[0.485, 0.456, 0.406], 
                         std=[0.229, 0.224, 0.225])
])

class AffectNetDataset(Dataset):
    def __init__(self, img_dir, transform=None, use_memmap=True):
        self.img_paths = [p for p in Path(img_dir).glob("*.jpg")]
        self.transform = transform

        # 内存映射优化
        if use_memmap:
            self.memmap = np.memmap(
                "affectnet_cache.dat", 
                dtype='float32',
                mode='w+',
                shape=(len(self.img_paths), 3, 224, 224)
            )

    def __getitem__(self, idx):
        if hasattr(self, 'memmap'):
            img = self.memmap[idx]
        else:
            img = cv2.imread(str(self.img_paths[idx]))

        if self.transform:
            img = self.transform(img)

        return img