CMU-MOSI数据集下载与使用全指南：从获取到预处理的最佳实践

1次阅读

共计 2531 个字符，预计需要花费 7 分钟才能阅读完成。

CMU-MOSI（Multimodal Opinion Sentiment Intensity）是卡耐基梅隆大学发布的多模态情感分析基准数据集，包含 2199 个精心标注的短视频片段（来自 93 个 Youtube 影评视频），已成为多模态机器学习研究的重要基准。其核心价值体现在：

多模态完整性 ：同步提供文本转录、音频波形、面部视频三种模态数据
细粒度标注 ：情感强度标注范围从 -3（强烈负面）到 +3（强烈正面）
现实场景数据 ：包含自然语言中的犹豫、重复等真实语音特征

访问 CMU Multimodal SDK 官网（http://multicomp.cs.cmu.edu/resources/cmu-mosi/）
填写研究用途申请表（通常 24 小时内通过）
获取 AWS S3 下载链接

AWS CLI 加速 （需安装 awscli）：

aws s3 sync s3://multicomp-datasets/CMU-MOSI . --no-sign-request

国内镜像备份 （推荐科研机构自建）：

# 示例：使用 requests 分块下载
import requests

def download_file(url):
    local_filename = url.split('/')[-1]
    with requests.get(url, stream=True) as r:
        r.raise_for_status()
        with open(local_filename, 'wb') as f:
            for chunk in r.iter_content(chunk_size=8192):
                f.write(chunk)
    return local_filename

CMU_MOSI/
├── Audio/            # WAV 音频文件（16kHz 采样）├── Video/            # MP4 视频文件（25fps）├── Transcript/       # CSV 格式文本转录
├── Labels/           # 情感强度标注
└── Metadata/         # 说话人信息等

文本模态 （Transcript/Segmented/*.csv）：

video_id,clip_id,text,start_time,end_time
"ytDwZtqZ0ZA","0","I really like this movie",0.0,3.2

音频特征 （Audio/Full/WAV_16kHz/*.wav）：
16 位 PCM 编码
单声道 16kHz 采样率
视觉特征 （Video/Full/MP4_25fps/*.mp4）：
25 帧 / 秒
面部 ROI 区域裁剪

import pandas as pd
from scipy.io import wavfile
import cv2

# 加载文本标注
def load_transcript(file_path):
    df = pd.read_csv(file_path, header=None, 
                    names=['video_id','clip_id','text','start','end'])
    return df.to_dict('records')

# 读取音频特征
def load_audio(wav_path):
    sample_rate, waveform = wavfile.read(wav_path)
    return {
        'rate': sample_rate,
        'data': waveform
    }

# 视频帧采样（每秒取 1 帧）def sample_video(video_path):
    cap = cv2.VideoCapture(video_path)
    frames = []
    while cap.isOpened():
        ret, frame = cap.read()
        if not ret: break
        if int(cap.get(cv2.CAP_PROP_POS_FRAMES)) % 25 == 0:  # 25fps→1fps
            frames.append(cv2.cvtColor(frame, cv2.COLOR_BGR2RGB))
    return frames

文本 - 音频对齐 ：利用 transcript 中的 start/end 时间戳截取对应音频段

视频 - 音频对齐 ：通过 ffmpeg 提取精确时间码：

# 使用 ffmpeg-python 包
import ffmpeg

def extract_audio_segment(input_file, output_file, start, duration):
    (ffmpeg.input(input_file)
         .output(output_file, ss=start, t=duration)
         .run(quiet=True))

问题 1 ：各模态采样率不一致
方案：统一上采样 / 下采样到相同时间粒度
问题 2 ：视频帧丢失导致不同步
方案：使用 OpenCV 的 CAP_PROP_POS_MSEC 属性精确定位

编码问题 ：
Windows 系统读取 WAV 文件可能报错

解决方案：强制指定编码格式

with open(file, 'rb') as f:  # 二进制模式读取
    content = f.read()

内存溢出 ：
同时加载所有视频帧导致 OOM

解决方案：使用生成器逐帧处理

def frame_generator(video_path):
    cap = cv2.VideoCapture(video_path)
    while cap.isOpened():
        ret, frame = cap.read()
        if not ret: break
        yield frame

该数据集典型应用场景包括：
– 多模态情感识别模型（如 BERT+CNN+LSTM 架构）
– 模态缺失情况下的鲁棒性研究
– 跨模态注意力机制验证

推荐扩展阅读：
–《Multimodal Language Analysis in the Wild》论文（Zadeh et al.）
– CMU-MOSEI 数据集（MOSI 的扩展版）
– TensorFlow Multimodal API 文档

通过合理利用 CMU-MOSI 数据集，研究者可以快速验证多模态算法的有效性，但需特别注意现实场景中的模态噪声问题。建议在实际应用中结合数据增强技术提升模型鲁棒性。

正文完