AFLW数据集标注文件解析与实战指南：从数据格式到模型训练

1次阅读

共计 3213 个字符，预计需要花费 9 分钟才能阅读完成。

AFLW（Annotated Facial Landmarks in the Wild）是面部关键点检测领域广泛使用的基准数据集，包含约 25,000 张人脸图像，每张图像标注多达 21 个关键点。其价值在于覆盖了极端姿态（大角度偏转）、遮挡和复杂光照等真实场景。但.mat 格式的标注文件和多重嵌套结构，常让初学者在数据加载阶段就陷入困境。

AFLW 采用 MATLAB 的.mat 二进制格式存储标注，相比其他格式有其特殊性：

JSON：可读性强但解析速度慢，存储空间占用高
XML：结构清晰但文件体积大，适合小规模数据
TXT：轻量但缺乏层次结构，难以处理复杂标注
.mat：二进制格式加载快，适合 MATLAB 生态（需 SciPy 兼容处理）

推荐工作流：使用 scipy.io.loadmat() 加载后转换为 Python 字典，再提取所需字段。

# 环境要求：Python 3.8+, scipy==1.10.1, numpy==1.24.3
import scipy.io
import numpy as np

def load_aflw_annotations(mat_path):
    try:
        data = scipy.io.loadmat(mat_path)
        # 关键结构位于 ['anno'][0][0] 下
        annotations = data['anno'][0][0]
        return {'keypoints': annotations[0],  # 形状为(N,21,3)
            'pose': annotations[1],       # 欧拉角(yaw,pitch,roll)
            'bbox': annotations[2]        # 边界框(x,y,w,h)
        }
    except Exception as e:
        print(f"Error loading {mat_path}: {str(e)}")
        return None

面部关键点通常需要归一化到 [-1,1] 范围，消除图像尺寸影响：

def normalize_keypoints(keypoints, img_width, img_height):
    """
    将关键点坐标从像素值转换为 [-1,1] 范围
    公式：x_norm = (x_pixel / width) * 2 - 1
    """
    scale = np.array([img_width, img_height])
    return (keypoints[:, :2] / scale) * 2 - 1  # 忽略置信度通道

当需要同时训练关键点和姿态估计时，建议构建统一的数据结构：

class AFLWSample:
    def __init__(self, img_path, annotations):
        self.img_path = img_path
        self.keypoints = annotations['keypoints']
        self.yaw, self.pitch, self.roll = annotations['pose'][0]

    def to_tensor(self):
        return {'keypoints': torch.FloatTensor(self.keypoints),
            'pose': torch.FloatTensor([self.yaw, self.pitch, self.roll])
        }

import torch
from torch.utils.data import Dataset
from PIL import Image

class AFLWDataset(Dataset):
    def __init__(self, img_dir, mat_path, transform=None):
        self.img_dir = img_dir
        self.annotations = load_aflw_annotations(mat_path)
        self.transform = transform

    def __len__(self):
        return len(self.annotations['keypoints'])

    def __getitem__(self, idx):
        img_name = f"{idx:06d}.jpg"
        img_path = os.path.join(self.img_dir, img_name)
        img = Image.open(img_path)

        sample = {
            'image': img,
            'keypoints': self.annotations['keypoints'][idx],
            'pose': self.annotations['pose'][idx]
        }

        if self.transform:
            sample = self.transform(sample)

        return sample

针对面部关键点任务，推荐组合：

几何变换：随机旋转（±30°）、缩放（0.8-1.2 倍）
光度变换：亮度调整（±20%）、对比度（±15%）
关键点扰动：对 10% 的关键点添加高斯噪声（σ=0.01）

实现示例：

class RandomAffineTransform:
    def __call__(self, sample):
        angle = random.uniform(-30, 30)
        scale = random.uniform(0.8, 1.2)

        # 对图像应用仿射变换
        img = sample['image']
        img = img.rotate(angle, resample=Image.BILINEAR)
        w, h = img.size
        img = img.resize((int(w*scale), int(h*scale)))

        # 同步变换关键点坐标
        keypoints = affine_transform(sample['keypoints'], 
            angle=angle, 
            scale=scale,
            center=(w/2, h/2)
        )

        return {'image': img, 'keypoints': keypoints}

AFLW 的边界框标注可能存在两种坐标系：

MATLAB 风格：1-based 索引，矩形框为[x,y,width,height]
Python 风格：0-based 索引，可能表示为[x1,y1,x2,y2]

解决方案：统一转换为 (x_center, y_center, width, height) 格式：

def convert_bbox(bbox, src_format='matlab'):
    if src_format == 'matlab':
        x, y, w, h = bbox
        return [x + w/2, y + h/2, w, h]
    else:  # 假设为[x1,y1,x2,y2]
        return [(bbox[0]+bbox[2])/2, (bbox[1]+bbox[3])/2, 
                bbox[2]-bbox[0], bbox[3]-bbox[1]]

约 5% 的 AFLW 样本存在部分关键点缺失，推荐策略：