基于CASME2数据集的微表情识别实战：从数据预处理到模型优化

1次阅读

共计 1634 个字符，预计需要花费 5 分钟才能阅读完成。

微表情识别在人机交互和心理分析中扮演着重要角色，但 CASME2 数据集的高噪声、小样本特性给模型训练带来了显著挑战。这个数据集包含 26 个受试者的 247 个微表情视频片段，平均持续时间仅 0.5 秒，运动幅度极小（通常面部肌肉运动不超过 1 毫米）。传统方法如 LBP-TOP（局部二值模式 - 三正交平面）在这种场景下表现不佳，主要因为：

手工特征对微小运动不敏感
无法有效建模长时序依赖
对光照变化和头部运动鲁棒性差

针对微表情的时空特性，我们设计了专用增强方法：

TemporalRandomCrop：从视频中随机裁剪固定长度的片段，缓解样本不足
Micro-Motion Amplification：应用欧拉视频放大技术增强微小运动
Spatial-Temporal Mixup：在时空维度混合两个样本，增加多样性

采用 3D CNN+Transformer 混合架构：

class HybridModel(nn.Module):
    def __init__(self):
        super().__init__()
        # 3D CNN 骨干网络
        self.cnn = nn.Sequential(nn.Conv3d(3, 64, kernel_size=(1,3,3)),
            nn.BatchNorm3d(64),
            nn.ReLU(),
            # ... 其他卷积层
        )
        # Transformer 时序编码
        self.transformer = TransformerEncoder(
            d_model=512,
            nhead=8,
            num_layers=3
        )
        # 通道注意力模块
        self.attention = ChannelAttention(512)

先在 FER2013（面部表情数据集）预训练 3D CNN 部分
固定 CNN 权重，单独训练 Transformer 模块
最后进行端到端微调

class CASME2Dataset(Dataset):
    def __init__(self, root_dir, transform=None):
        self.samples = []
        # 解析 SAMM 格式标注
        for anno_file in Path(root_dir).glob('**/*.csv'):
            df = pd.read_csv(anno_file)
            for _, row in df.iterrows():
                video_path = root_dir/row['filename']
                self.samples.append({
                    'video': video_path,
                    'label': row['emotion'],
                    'onset': row['onset_frame'],
                    'apex': row['apex_frame']
                })

    def __getitem__(self, idx):
        sample = self.samples[idx]
        frames = load_video_frames(sample['video'])
        # 应用时域裁剪
        frames = TemporalRandomCrop(frames, sample['onset'], sample['apex'])
        return frames, sample['label']