CASME数据集入门指南：从数据预处理到微表情识别实战

1次阅读

没有评论

共计 2838 个字符，预计需要花费 8 分钟才能阅读完成。

微表情识别是计算机视觉中极具挑战性的研究方向，它通过分析人类面部微小、短暂的表情变化来识别真实情绪。这类技术在心理学研究、测谎系统、人机交互等领域有重要应用价值。

CASME（Chinese Academy of Sciences Micro-expression）是中国科学院心理研究所发布的高质量微表情数据集，具有以下特点：

包含 35 名中国受试者的 195 个微表情样本
视频分辨率 640×480，帧率 60fps
提供 AUs（动作单元）标注和情绪类别（如高兴、厌恶等）
包含面部关键点坐标数据

与其它数据集相比，CASME 的优势在于：

样本采集环境受控，背景统一
标注信息丰富且专业
针对亚洲人面部特征

CASME 原始数据以 AVI 视频和 Excel 标注文件的形式存储。我们需要将视频转换为适合模型训练的帧序列，并处理对应的标签数据。

使用 OpenCV 逐帧读取视频，并按固定间隔采样（避免相邻帧过于相似）：

import cv2
import os

def extract_frames(video_path, output_dir, interval=3):
    """
    从视频中按间隔提取帧
    :param video_path: 视频文件路径
    :param output_dir: 输出目录
    :param interval: 采样间隔（帧数）"""
    if not os.path.exists(output_dir):
        os.makedirs(output_dir)

    cap = cv2.VideoCapture(video_path)
    frame_count = 0
    saved_count = 0

    while True:
        ret, frame = cap.read()
        if not ret:
            break

        if frame_count % interval == 0:
            output_path = os.path.join(output_dir, f"frame_{saved_count:04d}.jpg")
            cv2.imwrite(output_path, frame)
            saved_count += 1

        frame_count += 1

    cap.release()
    return saved_count

CASME 的标注信息存储在 Excel 中，我们需要将其转换为易用的格式（如 CSV）：

import pandas as pd

def process_annotations(excel_path, output_csv):
    """
    处理原始 Excel 标注文件
    :param excel_path: Excel 文件路径
    :param output_csv: 输出 CSV 路径
    """
    # 读取 Excel 文件
    df = pd.read_excel(excel_path, sheet_name='Sheet1')

    # 选择需要的列
    processed = df[[
        'Filename', 
        'OnsetFrame', 
        'ApexFrame', 
        'OffsetFrame', 
        'Emotion'
    ]].copy()

    # 保存为 CSV
    processed.to_csv(output_csv, index=False)

微表情数据通常需要进行以下处理：

人脸检测和对齐（使用 dlib 或 MTCNN）
图像归一化（尺寸调整、灰度化等）
时序标准化（统一序列长度）

我们使用 PyTorch 构建一个简单的 3D CNN 模型，该架构适合处理视频时序数据：

import torch
import torch.nn as nn

class Simple3DCNN(nn.Module):
    def __init__(self, num_classes):
        super(Simple3DCNN, self).__init__()

        self.conv1 = nn.Conv3d(3, 32, kernel_size=(3, 3, 3), padding=1)
        self.bn1 = nn.BatchNorm3d(32)
        self.pool1 = nn.MaxPool3d(kernel_size=(1, 2, 2))

        self.conv2 = nn.Conv3d(32, 64, kernel_size=(3, 3, 3), padding=1)
        self.bn2 = nn.BatchNorm3d(64)
        self.pool2 = nn.MaxPool3d(kernel_size=(2, 2, 2))

        self.conv3 = nn.Conv3d(64, 128, kernel_size=(3, 3, 3), padding=1)
        self.bn3 = nn.BatchNorm3d(128)
        self.pool3 = nn.MaxPool3d(kernel_size=(2, 2, 2))

        self.global_pool = nn.AdaptiveAvgPool3d(1)
        self.fc = nn.Linear(128, num_classes)

    def forward(self, x):
        # x 形状: (batch_size, 3, seq_len, H, W)
        x = torch.relu(self.bn1(self.conv1(x)))
        x = self.pool1(x)

        x = torch.relu(self.bn2(self.conv2(x)))
        x = self.pool2(x)

        x = torch.relu(self.bn3(self.conv3(x)))
        x = self.pool3(x)

        x = self.global_pool(x)
        x = x.view(x.size(0), -1)
        x = self.fc(x)
        return x

在使用 CASME 数据集时，新手常遇到以下问题：