CMU-MOSI数据集下载与预处理实战指南：解决多模态研究中的数据获取难题

1次阅读

共计 2565 个字符，预计需要花费 7 分钟才能阅读完成。

CMU-MOSI（Multimodal Opinion-level Sentiment Intensity）是多模态情感分析领域最常用的基准数据集之一，由卡内基梅隆大学于 2016 年发布。该数据集包含 2,199 条短视频片段，内容涵盖产品评测、电影评论等主题，每条数据均包含：

文本模态：人工转录的对话文本
音频模态：16kHz 采样率的 WAV 格式音频
视频模态：30fps 的 MP4 格式视频
标注信息：人工标注的情感强度分数（- 3 到 + 3 连续值）

数据集采用分层抽样确保内容多样性，被广泛用于跨模态表征学习、情感识别等研究方向。其独特价值在于：

真实场景下的多模态数据
细粒度的情感强度标注
严格对齐的跨模态时间戳

尽管 CMU-MOSI 数据集非常有用，但原始数据获取和处理存在以下挑战：

申请流程复杂：需要填写 IRB（伦理审查）表格并等待人工审核
数据分散存储：视频、音频、文本分别存放在不同服务器
格式不一致：原始视频包含冗余帧，音频采样率不统一
预处理耗时：手动对齐三个模态的时间戳容易出错
标注噪声：部分片段存在标注不一致问题

访问 CMU-MultimodalSDK 官网注册账号
提交 IRB 申请表（需说明研究用途）
审核通过后下载mosi_raw.zip（约 12GB）和标注文件

推荐使用 wget 批量下载（示例仅展示关键部分）：

import os

download_links = [
    'http://example.com/mosi/videos.zip',
    'http://example.com/mosi/audio.zip',
    'http://example.com/mosi/transcripts.zip'
]

for url in download_links:
    os.system(f'wget -c {url} -P ./raw_data')

以下脚本实现：
– 视频帧采样（30fps→15fps）
– 音频重采样（16kHz→8kHz）
– 文本分词与对齐

import cv2
import librosa
import pandas as pd

# 视频处理函数
def process_video(input_path, output_path, target_fps=15):
    cap = cv2.VideoCapture(input_path)
    frame_count = int(cap.get(cv2.CAP_PROP_FRAME_COUNT))

    # 计算跳帧步长
    skip_step = int(30 / target_fps)

    frames = []
    for i in range(0, frame_count, skip_step):
        cap.set(cv2.CAP_PROP_POS_FRAMES, i)
        ret, frame = cap.read()
        if ret:
            frames.append(cv2.resize(frame, (224, 224)))

    # 保存为 NPY 格式
    np.save(output_path, np.array(frames))

# 音频处理函数
def process_audio(input_path, output_path, target_sr=8000):
    y, sr = librosa.load(input_path, sr=target_sr)
    mfcc = librosa.feature.mfcc(y=y, sr=sr, n_mfcc=13)
    np.save(output_path, mfcc)

# 主处理流程
for clip_id in tqdm(annotation_df['clip_id']):
    try:
        process_video(f'raw/videos/{clip_id}.mp4', f'processed/video/{clip_id}.npy')
        process_audio(f'raw/audio/{clip_id}.wav', f'processed/audio/{clip_id}.npy')
    except Exception as e:
        logging.error(f'Error processing {clip_id}: {str(e)}')

使用 PyTorch Dataset 类实现多模态数据加载：

from torch.utils.data import Dataset

class MOSIDataset(Dataset):
    def __init__(self, root_dir):
        self.annotations = pd.read_csv(f'{root_dir}/annotations.csv')

    def __getitem__(self, idx):
        clip_id = self.annotations.iloc[idx]['clip_id']

        # 加载三种模态
        video = torch.from_numpy(np.load(f'{root_dir}/video/{clip_id}.npy'))
        audio = torch.from_numpy(np.load(f'{root_dir}/audio/{clip_id}.npy'))
        text = self._process_text(clip_id)

        return {'video': video.float(),
            'audio': audio.float(),
            'text': text,
            'label': self.annotations.iloc[idx]['sentiment']
        }

问题现象	解决方案
视频音频不同步	使用 `ffmpeg -ss` 参数精确截取时间片段
缺失标注	参考相邻片段插值或直接剔除该样本
内存不足	使用 `dask` 进行懒加载或降低采样率
文件损坏	校验 MD5 值并重新下载问题文件