深入解析CK+数据集：从技术原理到高效应用实践

1次阅读

共计 2358 个字符，预计需要花费 6 分钟才能阅读完成。

CK+（Extended Cohn-Kanade Dataset）是面部表情识别领域的标杆数据集，由匹兹堡大学于 2010 年发布。作为原始 Cohn-Kanade 数据集的扩展版本，它包含 593 个视频序列，涉及 123 名受试者的 7 种基本表情（愤怒、轻蔑、恐惧、快乐、悲伤、惊讶和中性）。其核心价值体现在：

高精度标注 ：每个序列从起始中性表情到峰值表情的 68 个面部关键点坐标（FACS 编码）
标准化程度高 ：统一为 640×490 像素分辨率，灰度视频格式
学术影响力 ：被引用超 5000 次（Google Scholar 数据），成为算法性能的黄金标准

典型的 CK+ 目录包含三层架构：

CK+
├── Emotion_labels
│   ├── Emotion
│   └── valence_arousal
├── FACS_labels
├── Landmarks
│   ├── 68 点标注
│   └── 49 点标注
└── Images
    ├── 序列文件夹
    └── 命名规则：SXXX_YYYY_ZZZZ.png

表情标签 ：Emotion 目录下的文本文件，编码规则：

1= 愤怒, 2= 轻蔑, 3= 恐惧, 
4= 快乐, 5= 悲伤, 6= 惊讶, 7= 中性

时间对齐 ：每个序列包含 10-60 帧，峰值表情固定出现在最后 3 帧

import cv2
import numpy as np
from pathlib import Path
from sklearn.model_selection import train_test_split

class CKPlusLoader:
    def __init__(self, root_path, target_size=(128, 128)):
        self.root = Path(root_path)
        self.target_size = target_size

    def _load_sequence(self, seq_path):
        """惰性加载视频序列"""
        for img_file in sorted(seq_path.glob('*.png')):
            img = cv2.imread(str(img_file), cv2.IMREAD_GRAYSCALE)
            yield cv2.resize(img, self.target_size)

    def load_dataset(self, max_sequences=1000):
        """生成器方式加载数据，避免内存爆炸"""
        sequences, labels = [], []
        for emo_file in (self.root/'Emotion_labels/Emotion').glob('*/*.txt'):
            if len(sequences) >= max_sequences:
                break

            label = int(emo_file.read_text().strip())
            seq_id = emo_file.parent.stem
            img_dir = self.root/f'Images/{seq_id}'

            # 只取最后 3 帧作为峰值表情
            frames = list(self._load_sequence(img_dir))[-3:]
            sequences.extend(frames)
            labels.extend([label]*3)

        return np.array(sequences), np.array(labels)

对于超大规模处理，建议使用 HDF5 格式：

import h5py

with h5py.File('ckplus.h5', 'w') as hf:
    hf.create_dataset('images', data=sequences, compression='gzip')
    hf.create_dataset('labels', data=labels)

from concurrent.futures import ThreadPoolExecutor

def parallel_load(paths):
    with ThreadPoolExecutor(8) as executor:
        results = list(executor.map(cv2.imread, paths))
    return np.stack(results)

CK+ 中各表情样本量差异显著（快乐样本占比约 40%），解决方案：

from imblearn.over_sampling import SMOTE

smote = SMOTE(sampling_strategy='minority')
X_res, y_res = smote.fit_resample(sequences.reshape(len(sequences), -1), 
    labels
)

遇到矛盾标注时优先参考 FACS 编码
对轻蔑（contempt）类别建议单独验证

# 与 FER2013 数据集联合使用示例
fer_images = load_fer()
ck_images = load_ck()

# 统一尺寸和通道数
combined = np.concatenate([fer_images[..., np.newaxis], 
    ck_images[..., np.newaxis]
], axis=0)