基于CASME2数据集的微表情识别实战：从数据预处理到模型优化

1次阅读

没有评论

共计 1710 个字符，预计需要花费 5 分钟才能阅读完成。

微表情识别在心理学和人机交互领域具有重要意义，但其研究面临诸多挑战。CASME2 作为主流微表情数据集，具有以下典型特征：

小样本问题 ：仅包含 247 个样本，涵盖 5 种基本情绪类别
高噪声干扰 ：面部肌肉运动幅度通常不超过 0.5mm
标注困难 ：需要专业 FACS 认证人员标注，主观性强
时序特性 ：微表情持续时间仅 1 /25~1/ 5 秒

传统 LBP-TOP 方法在 CASME2 上的表现有限（准确率约 58%），主要因为：

时空特征分离处理，忽略微表情的连贯性
手工特征对微小运动不敏感
无法应对样本不平衡问题

针对微表情的时空特性，我们设计专用增强方案：

时空域增强 ：
TemporalRandomCrop：随机选取 16 帧片段（原视频 25fps）
概率性应用时间反转（Time Reverse）
空间弹性变形（Elastic Deformation）
颜色域增强 ：
局部亮度调整（±20% 范围）
动态对比度归一化
对抗样本生成 ：
使用 FGSM 方法生成困难样本

采用 3D CNN+Transformer 混合架构：

class HybridModel(nn.Module):
    def __init__(self):
        super().__init__()
        # 3D CNN 骨干网络
        self.cnn = nn.Sequential(nn.Conv3d(3, 64, kernel_size=(3,5,5), stride=(1,2,2)),
            nn.ReLU(),
            ChannelAttention(64)  # 通道注意力模块
        )
        # Transformer 时序编码
        self.transformer = TransformerEncoder(
            d_model=256,
            nhead=8,
            num_layers=3
        )

关键设计点：

3D 卷积核时间维度设为 3 帧，捕捉短时动态
通道注意力增强重要特征响应
Transformer 层处理长时依赖关系

预训练阶段：
使用 FER2013（35,887 样本）训练基础特征提取器
冻结前 3 层卷积参数
微调阶段：
学习率设为预训练的 1 /10
仅解冻最后两层 Transformer

处理 SAMM 标注格式的典型实现：

class CASME2Dataset(Dataset):
    def __init__(self, root_dir):
        self.annotations = self._parse_samm_annotation(root_dir)

    def _parse_samm_annotation(self, path):
        # 解析 ApexFrame/OnsetFrame 等关键字段
        pass

    def __getitem__(self, idx):
        frames = self._load_frames(idx)
        # 应用时空随机裁剪
        frames = TemporalRandomCrop(frames, length=16)
        return frames, self.labels[idx]

class TemporalRandomCrop:
    def __call__(self, video):
        # 随机选取起始帧
        start = random.randint(0, len(video)-self.length)
        return video[start:start+self.length]