CLIP预训练数据集构建指南：从数据清洗到多模态对齐

1次阅读

共计 2346 个字符，预计需要花费 6 分钟才能阅读完成。

CLIP（Contrastive Language-Image Pretraining）模型通过对比学习在图像和文本的 embedding 空间中进行对齐，这使得它对预训练数据的质量、规模和领域覆盖有特殊要求。首先，图像 - 文本对的质量至关重要，噪声数据会直接影响模型的对齐效果。其次，数据规模要足够大，通常需要数亿级别的样本才能训练出泛化能力强的模型。最后，领域覆盖要广泛，涵盖多种视觉概念和语言描述，以提升模型的 zero-shot 能力。

公开数据集如 LAION 虽然规模庞大，但也存在一些问题：

文本描述与图像内容不匹配的情况较多
包含大量低质量或重复的图像
领域分布不均衡，某些类别过度表示

多模态数据对齐的核心挑战在于如何有效过滤噪声。例如，文本描述可能包含与图像无关的关键词，或者图像本身质量低下。传统的单模态清洗方法难以应对这种跨模态噪声。

构建大规模数据集需要权衡计算成本。全量处理数亿样本需要巨大的计算资源，而随机采样又可能丢失重要信息。如何在有限资源下高效处理数据是一个关键问题。

import torch
from PIL import Image
from transformers import CLIPProcessor, CLIPModel

# 加载预训练的 CLIP 模型
model = CLIPModel.from_pretrained("openai/clip-vit-base-patch32")
processor = CLIPProcessor.from_pretrained("openai/clip-vit-base-patch32")

def filter_pair(image_path, text, threshold=0.25):
    """
    使用 CLIP 模型计算图像 - 文本对的相似度
    :param threshold: 相似度阈值，根据验证集调整
    """
    image = Image.open(image_path)
    inputs = processor(text=[text], images=image, return_tensors="pt", padding=True)

    with torch.no_grad():
        outputs = model(**inputs)
        logits = outputs.logits_per_image
        similarity = logits.softmax(dim=1).item()

    return similarity >= threshold

import torch
from torch.utils.data import Dataset, DataLoader
from torchvision import transforms

class CLIPDataset(Dataset):
    def __init__(self, df, image_size=224):
        self.df = df
        self.transform = transforms.Compose([transforms.Resize(image_size),
            transforms.CenterCrop(image_size),
            transforms.ToTensor(),
            transforms.Normalize(mean=[0.48145466, 0.4578275, 0.40821073],
                std=[0.26862954, 0.26130258, 0.27577711]
            )
        ])

    def __len__(self):
        return len(self.df)

    def __getitem__(self, idx):
        row = self.df.iloc[idx]
        image = Image.open(row["image_path"])
        return {"image": self.transform(image),
            "text": row["text"]
        }

# 使用技巧：设置合适的 num_workers 和 prefetch_factor
dataloader = DataLoader(
    dataset, 
    batch_size=128, 
    num_workers=8,
    prefetch_factor=4,
    pin_memory=True
)