CC3M数据集入门指南：从数据预处理到模型训练全流程解析

1次阅读

没有评论

共计 2475 个字符，预计需要花费 7 分钟才能阅读完成。

CC3M（Conceptual Captions 3M）是一个包含约 330 万张图片及其对应文本描述的公开数据集，主要用于多模态学习任务（如图文匹配、图像生成描述等）。它的核心特点包括：

数据规模大：覆盖多样化的场景和概念
文本描述简洁：平均每张图片配有一句自然语言描述
来源广泛：图片来自公开网络，文本通过半自动方式生成

适用场景包括但不限于：

图文检索系统开发
视觉语言预训练（如 CLIP 风格模型）
图像描述生成模型训练

新手在使用 CC3M 时通常会遇到以下问题：

数据格式混乱：原始数据以 TSV 文件存储，需要解析后才能使用
文本噪声：自动生成的描述存在语法错误和无关内容
存储瓶颈：直接加载全部图像会消耗大量内存
标注偏差：某些概念存在过度或不足表示的情况

以下 Python 代码展示了如何高效解析 CC3M 的 TSV 文件并进行基础清洗：

import pandas as pd
from PIL import Image
import os

# 1. 读取 TSV 文件
def load_cc3m(tsv_path, image_dir):
    """
    加载 CC3M 数据集
    :param tsv_path: TSV 文件路径
    :param image_dir: 图片存储目录
    :return: 清洗后的 DataFrame(图片路径, 文本)
    """df = pd.read_csv(tsv_path, sep='\t', header=None, names=['url','caption'])

    # 2. 基础清洗
    df = df.dropna()  # 去除空值
    df['caption'] = df['caption'].str.lower().str.strip()  # 统一小写并去除首尾空格

    # 3. 添加本地图片路径
    df['image_path'] = df['url'].apply(lambda x: os.path.join(image_dir, os.path.basename(x)))

    return df[['image_path', 'caption']]

# 使用示例
data = load_cc3m('train.tsv', './images')
print(f'成功加载 {len(data)} 条数据')

from torch.utils.data import Dataset, DataLoader

class CC3MDataset(Dataset):
    def __init__(self, df, transform=None):
        self.df = df
        self.transform = transform

    def __len__(self):
        return len(self.df)

    def __getitem__(self, idx):
        row = self.df.iloc[idx]
        image = Image.open(row['image_path']).convert('RGB')
        caption = row['caption']

        if self.transform:
            image = self.transform(image)

        return image, caption

# 创建 DataLoader
dataset = CC3MDataset(data, transform=your_transforms)
dataloader = DataLoader(dataset, batch_size=32, shuffle=True)

import tensorflow as tf

def make_tf_dataset(df, image_size=(224, 224)):
    def preprocess(image_path, caption):
        image = tf.io.read_file(image_path)
        image = tf.image.decode_jpeg(image, channels=3)
        image = tf.image.resize(image, image_size)
        return image, caption

    paths = df['image_path'].values
    texts = df['caption'].values
    return tf.data.Dataset.from_tensor_slices((paths, texts)).map(preprocess)

# 使用示例
tf_dataset = make_tf_dataset(data).batch(32).prefetch(1)