CMU-MOSI数据集下载与使用全指南：从获取到预处理的最佳实践

1次阅读

共计 2351 个字符，预计需要花费 6 分钟才能阅读完成。

CMU-MOSI（Multimodal Opinion Sentiment Intensity）是由卡内基梅隆大学发布的多模态情感分析基准数据集，包含 2199 个短视频片段，采集自 93 个 YouTube 影评视频。每个片段均标注了情感极性（- 3 强烈负面到 + 3 强烈正面）和情感强度，涵盖文本转录、音频波形和面部视频三种模态数据。

该数据集的核心价值在于：

首个公开的大规模多模态情感分析数据集
支持跨模态（文本 / 音频 / 视觉）的联合建模研究
被超过 200 篇 ACL、ICML 等顶会论文用作基准测试
推动多模态融合、跨模态对齐等关键技术发展

访问 CMU Multimodal SDK 官网（http://multicomp.cs.cmu.edu/resources/cmu-mosi/）
填写研究用途申请表（通常 1 个工作日内获批）
获取下载链接包含：
视频文件（约 8GB）
文本转录与标注（JSON 格式）
音频特征（COVAREP 格式）
视觉特征（FACET 工具提取）

aria2 多线程下载 （速度提升 3 - 5 倍）：
```
aria2c -x16 -s16 [下载链接]
```

学术镜像站 （推荐中科大镜像）：

# 示例：通过镜像站下载元数据
import requests
url = 'https://mirrors.ustc.edu.cn/cmumosi/metadata.zip'
r = requests.get(url, stream=True)
with open('metadata.zip', 'wb') as f:
    for chunk in r.iter_content(chunk_size=1024): 
        if chunk: f.write(chunk)

云服务器中转 ：对于大体积视频文件，建议在海外服务器下载后通过 ossutil 同步到国内

存储格式：JSON

关键字段：

{
  "text": "I hated this movie plot",
  "annotations": [{"annotator": 1, "label": -2},
    {"annotator": 2, "label": -3}
  ],
  "time": [12.4, 15.6]  # 起止时间 (秒)
}

特征类型：
Low-level: Pitch, Jitter, Shimmer
High-level: MFCC(12 维), Voicing
存储格式：MATLAB .mat 文件（可用 scipy.io.loadmat 读取）

特征提取工具：FACET
包含：
面部动作单元强度（17 维）
头部姿态（6 维）
眼动特征（4 维）

import json
import h5py
from scipy.io import loadmat

# 加载文本标注
def load_text(json_path):
    with open(json_path) as f:
        data = json.load(f)
    return [{'text': item['text'],
        'label': sum(a['label'] for a in item['annotations'])/len(item['annotations'])
    } for item in data]

# 加载音频特征
def load_audio(mat_path):
    mat = loadmat(mat_path)
    return {'mfcc': mat['features'][:, :12],  # 取前 12 维 MFCC
        'pitch': mat['features'][:, 12]
    }

# 时间轴对齐示例
def align_modalities(text_data, audio_data, tolerance=0.5):
    aligned = []
    for text in text_data:
        start, end = text['time']
        audio_segment = audio_data[(audio_data['timestamps'] >= start - tolerance) & 
            (audio_data['timestamps'] <= end + tolerance)
        ]
        if len(audio_segment) > 0:
            aligned.append({'text': text['text'],
                'audio': audio_segment,
                'label': text['label']
            })
    return aligned