AffectNet数据集深度解析：从技术原理到情感识别实战

1次阅读

共计 3106 个字符，预计需要花费 8 分钟才能阅读完成。

AffectNet 是目前最大的面部表情识别数据集之一，包含了超过一百万张面部图像，每张图像都标注了离散的情感类别（如愤怒、快乐、悲伤等）以及连续的情感维度（如效价和唤醒度）。这个数据集的出现极大地推动了情感计算领域的发展，尤其是在深度学习的背景下，为研究者提供了丰富的训练数据。

AffectNet 的重要性主要体现在以下几个方面：

规模庞大 ：AffectNet 的数据量远超其他同类数据集，这使得训练出的模型具有更好的泛化能力。
标注丰富 ：除了基本的情感类别，AffectNet 还提供了连续的情感维度标注，为多任务学习提供了可能。
多样性高 ：数据集涵盖了不同的光照条件、姿态变化和遮挡情况，更接近真实场景。

AffectNet 的数据集目录结构非常清晰，主要分为图像文件夹和标注文件。以下是典型的目录结构：

AffectNet/
├── images/
│   ├── train_set/
│   │   ├── 0.jpg
│   │   ├── 1.jpg
│   │   └── ...
│   └── val_set/
│       ├── 0.jpg
│       ├── 1.jpg
│       └── ...
└── annotations/
    ├── training.csv
    └── validation.csv

标注文件通常是 CSV 格式，包含以下字段：

image_path：图像文件的相对路径。
expression：离散的情感类别标签（0-7，分别对应 8 种基本情感）。
valence：效价维度（连续值，范围 - 1 到 1）。
arousal：唤醒度维度（连续值，范围 - 1 到 1）。

情感类别分布如下：

0: Neutral
1: Happy
2: Sad
3: Surprise
4: Fear
5: Disgust
6: Anger
7: Contempt

以下是使用 Python 加载 AffectNet 数据集的示例代码：

import pandas as pd
import cv2
import numpy as np
from torch.utils.data import Dataset, DataLoader
from torchvision import transforms

class AffectNetDataset(Dataset):
    def __init__(self, csv_file, root_dir, transform=None):
        self.annotations = pd.read_csv(csv_file)
        self.root_dir = root_dir
        self.transform = transform

    def __len__(self):
        return len(self.annotations)

    def __getitem__(self, idx):
        img_name = os.path.join(self.root_dir, self.annotations.iloc[idx, 0])
        image = cv2.imread(img_name)
        image = cv2.cvtColor(image, cv2.COLOR_BGR2RGB)
        expression = self.annotations.iloc[idx, 1]
        valence = self.annotations.iloc[idx, 2]
        arousal = self.annotations.iloc[idx, 3]

        if self.transform:
            image = self.transform(image)

        return image, expression, valence, arousal

# 定义数据增强和归一化
transform = transforms.Compose([transforms.ToPILImage(),
    transforms.RandomHorizontalFlip(),
    transforms.RandomRotation(10),
    transforms.ToTensor(),
    transforms.Normalize(mean=[0.485, 0.456, 0.406], std=[0.229, 0.224, 0.225])
])

# 创建数据集和数据加载器
train_dataset = AffectNetDataset(csv_file='annotations/training.csv', root_dir='images/train_set', transform=transform)
train_loader = DataLoader(train_dataset, batch_size=32, shuffle=True)

AffectNet 中的情感类别分布极不均衡，例如“Happy”类别的样本远多于“Fear”或“Disgust”。这会导致模型偏向于预测多数类。解决方案包括：

过采样少数类 ：使用 SMOTE 等方法增加少数类样本。
欠采样多数类 ：随机减少多数类样本以平衡数据集。
类别权重 ：在损失函数中为少数类分配更高的权重。

由于情感标注具有一定的主观性，AffectNet 中存在标注噪声。可以通过以下方法缓解：

数据清洗 ：手动检查并剔除明显错误的标注。
一致性检查 ：使用多个标注者的标注结果进行投票。
模型鲁棒性训练 ：使用标签平滑或噪声鲁棒的损失函数。

以下是一个基于 ResNet 的情感识别模型示例：

import torch
import torch.nn as nn
import torchvision.models as models

class EmotionClassifier(nn.Module):
    def __init__(self, num_classes=8):
        super(EmotionClassifier, self).__init__()
        self.resnet = models.resnet18(pretrained=True)
        num_features = self.resnet.fc.in_features
        self.resnet.fc = nn.Linear(num_features, num_classes)

    def forward(self, x):
        return self.resnet(x)

model = EmotionClassifier()
criterion = nn.CrossEntropyLoss()
optimizer = torch.optim.Adam(model.parameters(), lr=0.001)

# 训练循环
for epoch in range(10):
    for images, expressions, _, _ in train_loader:
        outputs = model(images)
        loss = criterion(outputs, expressions)
        optimizer.zero_grad()
        loss.backward()
        optimizer.step()