CC3M数据集入门指南：从数据预处理到模型训练全流程解析

1次阅读

没有评论

共计 3204 个字符，预计需要花费 9 分钟才能阅读完成。

CC3M（Conceptual Captions 3 Million）是一个包含约 330 万张图片及其对应文本描述的跨模态数据集，由 Google Research 发布。它的主要特点包括：

规模适中：300 万级别的数据量，适合中小规模模型训练
多样性：覆盖日常生活、动物、场景等广泛视觉概念
文本 - 图像对：每个样本包含图片和人工编写的英文描述
预训练友好：特别适合图文匹配、图像描述生成等跨模态任务

典型应用场景：

图文检索系统开发
图像描述生成模型训练
视觉语言预训练（如 CLIP 类模型）
多模态深度学习研究

原始数据中存在：

重复的图片 - 文本对
低质量 / 模糊图片
包含特殊字符的文本描述
非英文描述的样本

原始 TSV 格式需要转换为：

适合深度学习框架读取的结构
分离的图像存储和文本索引
适应不同框架的数据加载器

直接存储所有图片占用空间大（约 50GB+）
频繁 IO 操作导致读取速度瓶颈
内存不足导致训练中断

import pandas as pd
from PIL import Image
import os
import shutil

# 步骤 1：加载原始 TSV 数据
def load_tsv(data_path):
    """加载并初步清洗数据"""
    df = pd.read_csv(data_path, sep='\t', header=None)
    df.columns = ['image_url', 'caption']

    # 基础清洗：去除空值 / 重复项
    df = df.dropna().drop_duplicates()

    # 过滤非 ASCII 字符（示例）df['caption'] = df['caption'].apply(lambda x: x.encode('ascii', 'ignore').decode())

    return df

# 步骤 2：下载并组织图像数据
def organize_images(df, output_dir='./processed_data'):
    """创建结构化数据目录"""
    os.makedirs(output_dir, exist_ok=True)

    # 创建子目录
    os.makedirs(f'{output_dir}/images', exist_ok=True)

    # 保存处理后数据
    df.to_csv(f'{output_dir}/metadata.csv', index=False)

    # 模拟下载过程（实际需替换为真实下载逻辑）print(f"组织结构完成，共 {len(df)} 条有效数据")

# 主流程
if __name__ == '__main__':
    raw_data = './cc3m/cc3m.tsv'  # 替换为实际路径
    processed_dir = './processed_cc3m'

    df = load_tsv(raw_data)
    organize_images(df, processed_dir)

from torch.utils.data import Dataset
import torchvision.transforms as T

class CC3MDataset(Dataset):
    def __init__(self, metadata_path, image_dir):
        self.metadata = pd.read_csv(metadata_path)
        self.image_dir = image_dir

        # 定义图像变换
        self.transform = T.Compose([T.Resize(256),
            T.CenterCrop(224),
            T.ToTensor(),
            T.Normalize(mean=[0.485, 0.456, 0.406], 
                        std=[0.229, 0.224, 0.225])
        ])

    def __len__(self):
        return len(self.metadata)

    def __getitem__(self, idx):
        row = self.metadata.iloc[idx]
        img_path = f"{self.image_dir}/{row['image_url'].split('/')[-1]}"

        image = Image.open(img_path).convert('RGB')
        image = self.transform(image)

        return image, row['caption']

import tensorflow as tf

def make_tf_dataset(metadata_path, image_dir, batch_size=32):
    """创建 TF Dataset 管道"""
    metadata = pd.read_csv(metadata_path)

    def parse_function(filename, caption):
        img = tf.io.read_file(f"{image_dir}/{filename}")
        img = tf.image.decode_jpeg(img, channels=3)
        img = tf.image.resize(img, [224, 224])
        img = tf.cast(img, tf.float32) / 255.0
        return img, caption

    filenames = metadata['image_url'].apply(lambda x: x.split('/')[-1]).values
    captions = metadata['caption'].values

    dataset = tf.data.Dataset.from_tensor_slices((filenames, captions))
    dataset = dataset.map(parse_function, 
                         num_parallel_calls=tf.data.AUTOTUNE)

    return dataset.batch(batch_size).prefetch(tf.data.AUTOTUNE)