CASME2数据集入门指南：从数据预处理到微表情识别实战

1次阅读

共计 3226 个字符，预计需要花费 9 分钟才能阅读完成。

微表情是人类在试图隐藏真实情绪时，面部肌肉短暂且难以控制的表情变化，持续时间通常只有 1 /25 到 1 / 5 秒。在心理学研究、安全审讯和临床诊断等领域具有重要价值。CASME2 是当前最权威的微表情数据集之一，包含 26 名受试者的 247 个样本，具有以下特点：

分辨率统一为 100×100 像素
每个样本标注了起始帧（onset）、高峰帧（apex）和结束帧（offset）
采用面部动作编码系统（FACS）标注了动作单元（AU）
包含 5 种基本情绪类别：高兴、厌恶、惊讶、压抑和紧张

在实际使用 CASME2 时，初学者常会遇到以下问题：

视频帧提取困难 ：原始 AVI 视频需要逐帧解析，且不同样本的微表情持续时间差异大
标签解析复杂 ：标注信息分散在 Excel 文件和视频元数据中，需要合并处理
样本不均衡 ：各类别样本量差异显著（如紧张类样本占比超过 40%）

使用 OpenCV 进行视频抽帧和面部裁剪：

import cv2

def extract_frames(video_path, output_dir):
    cap = cv2.VideoCapture(video_path)
    face_cascade = cv2.CascadeClassifier('haarcascade_frontalface_default.xml')

    frame_count = 0
    while cap.isOpened():
        ret, frame = cap.read()
        if not ret:
            break

        # 转换为灰度图并检测人脸
        gray = cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY)
        faces = face_cascade.detectMultiScale(gray, 1.1, 4)

        for (x,y,w,h) in faces:
            roi = frame[y:y+h, x:x+w]
            resized = cv2.resize(roi, (100, 100))
            cv2.imwrite(f'{output_dir}/frame_{frame_count}.jpg', resized)

        frame_count += 1
    cap.release()

使用 Pandas 处理 AU_LOGGING.xlsx 文件：

import pandas as pd

def parse_annotations(excel_path):
    df = pd.read_excel(excel_path)
    # 提取关键列并重命名
    annotations = df[['Subject', 'Filename', 'OnsetFrame', 'ApexFrame', 
                      'OffsetFrame', 'Emotion']].copy()
    annotations.columns = ['subject', 'filename', 'onset', 'apex', 'offset', 'emotion']

    # 处理情绪类别编码
    emotion_map = {'happiness':0, 'disgust':1, 'surprise':2, 
                  'repression':3, 'tension':4}
    annotations['label'] = annotations['emotion'].map(emotion_map)

    return annotations

在 PyTorch 中使用加权随机采样：

from torch.utils.data import WeightedRandomSampler

# 计算每个类别的样本权重
class_counts = np.bincount(labels)
class_weights = 1. / class_counts
sample_weights = class_weights[labels]

sampler = WeightedRandomSampler(
    weights=sample_weights,
    num_samples=len(sample_weights),
    replacement=True
)

dataloader = DataLoader(dataset, batch_size=32, sampler=sampler)

特性	2D-CNN	3D-CNN
输入维度	(C, H, W)	(C, T, H, W)
卷积方式	空间卷积	时空卷积
时序建模	需额外 LSTM	原生支持
参数量	较少	较大
适用场景	静态特征提取	动态序列分析

基于 PyTorch 的模型核心结构：

import torch.nn as nn

class P3DBlock(nn.Module):
    def __init__(self, in_channels, out_channels):
        super().__init__()
        # 空间卷积分支
        self.spatial = nn.Sequential(nn.Conv3d(in_channels, out_channels, kernel_size=(1,3,3), padding=(0,1,1)),
            nn.BatchNorm3d(out_channels),
            nn.ReLU())
        # 时序卷积分支
        self.temporal = nn.Sequential(nn.Conv3d(out_channels, out_channels, kernel_size=(3,1,1), padding=(1,0,0)),
            nn.BatchNorm3d(out_channels),
            nn.ReLU())

    def forward(self, x):
        x = self.spatial(x)
        x = self.temporal(x)
        return x

class MicroExpressionNet(nn.Module):
    def __init__(self, num_classes=5):
        super().__init__()
        self.features = nn.Sequential(P3DBlock(3, 64),
            nn.MaxPool3d(kernel_size=(1,2,2)),
            P3DBlock(64, 128),
            nn.MaxPool3d(kernel_size=(1,2,2)),
            P3DBlock(128, 256)
        )
        self.classifier = nn.Sequential(nn.AdaptiveAvgPool3d(1),
            nn.Flatten(),
            nn.Linear(256, num_classes)
        )

    def forward(self, x):
        # x 形状: (B, C, T, H, W)
        x = self.features(x)
        return self.classifier(x)