深入解析CC3M数据集：构建高效多模态模型的基石

1次阅读

没有评论

共计 2073 个字符，预计需要花费 6 分钟才能阅读完成。

CC3M（Conceptual Captions 3 Million）是 Google Research 发布的大规模图像 - 文本配对数据集，包含约 330 万张图片及其对应的自然语言描述。它的核心价值体现在三个方面：

规模优势 ：330 万的高质量样本量，远超早期数据集如 COCO（12 万）或 Flickr30k（3 万），能有效支持深度模型的预训练需求
标注质量 ：描述文本由半自动化流程生成，经人工校验，在语法自然性和语义相关性上表现优异
领域覆盖 ：涵盖日常生活中的广泛概念，减少领域偏差，特别适合通用多模态任务

原始数据以 TSV 格式存储，每行包含图片 URL 和对应描述。实际使用时需处理：

URL 有效性验证（约 5% 链接已失效）
文本清洗（去除特殊字符、统一大小写）
图片尺寸归一化（原始分辨率差异大）

若直接存储解码后的图片：

330 万张平均 500KB 的 JPEG 图片 ≈ 1.5TB
传统文件系统访问效率低
小文件 IO 成为性能瓶颈

多模态模型常需要：

实时图像增强（裁剪 / 翻转）
文本 token 化
跨模态对齐处理
这些操作在原生 Python 实现下容易成为性能瓶颈

import lmdb
import pickle
from PIL import Image
import io

# 将图片二进制和文本存入 LMDB
def build_lmdb(input_tsv, output_path):
    env = lmdb.open(output_path, map_size=1099511627776)  # 1TB 容量
    with env.begin(write=True) as txn:
        for idx, line in enumerate(open(input_tsv)):
            url, caption = line.strip().split('\t')
            try:
                img_data = requests.get(url).content
                # 存储为 pickle 格式
                txn.put(f'image_{idx}'.encode(), 
                       pickle.dumps({'img': img_data, 'text': caption}))
            except Exception as e:
                print(f'Skipped {url}: {str(e)}')

# 读取示例
with env.begin() as txn:
    data = pickle.loads(txn.get(b'image_12345'))
    img = Image.open(io.BytesIO(data['img']))

from torch.utils.data import Dataset

class CC3MDataset(Dataset):
    def __init__(self, lmdb_path):
        self.env = lmdb.open(lmdb_path, readonly=True)
        self.length = self.env.stat()['entries']

    def __getitem__(self, idx):
        with self.env.begin() as txn:
            data = pickle.loads(txn.get(f'image_{idx}'.encode()))
            img = transform(Image.open(io.BytesIO(data['img'])))
            text = tokenizer(data['text'])
            return img, text

    def __len__(self):
        return self.length

使用 LMDB/TFRecord 替代原始文件存储，IOPS 提升 10 倍以上
对图片进行渐进式 JPEG 压缩（quality=75 时视觉无损）
预生成图像特征存储（如 CLIP embeddings）

采用多进程预加载（num_workers=4*cpu 核心数）

使用 DALI 加速图像解码：

from nvidia.dali import pipeline_def
@pipeline_def
def cc3m_pipeline():
    jpegs = fn.readers.webdataset(..., shard_id=0)
    images = fn.decoders.image(jpegs, device='mixed')
    return images