CLIP预训练实战指南：从零搭建多模态对比学习模型

1次阅读

共计 1949 个字符，预计需要花费 5 分钟才能阅读完成。

CLIP（Contrastive Language-Image Pretraining）通过对比学习将图像和文本映射到共享的嵌入空间，实现了跨模态的语义对齐。这种能力在图像检索、零样本分类等任务中表现出色。但当我们尝试复现或自定义 CLIP 训练时，常会遇到几个典型问题：

图像和文本数据难以有效对齐
对比损失训练过程中出现剧烈震荡
超参数（如温度系数）调节困难

图像编码器选项 ：

ResNet：结构稳定，显存占用低，适合小规模数据
Vision Transformer（ViT）：全局建模能力强，在大数据量时效果显著

文本编码器选项 ：

BERT：擅长处理自然语言理解任务
GPT 系列：更适合生成式任务，但需要调整 attention mask

建议初学者从 ViT-B/32+BERT-base 组合开始，平衡效果与训练成本。

关键处理步骤：

图文对清洗：
过滤文本长度<3 或>77 的样本（CLIP 限制）
移除包含特殊字符或乱码的文本
图像增强策略：
随机裁剪（保持长宽比）
颜色抖动（幅度宜小）
避免过度增强导致语义失真
文本处理：
统一转换为小写
保留关键实体名词

核心是 InfoNCE Loss，其温度系数 τ 对结果影响巨大：

def contrastive_loss(logits_per_image, logits_per_text, temp=0.07):
    # logits.shape = [batch_size, batch_size]
    labels = torch.arange(len(logits_per_image), device=device)
    loss_i = F.cross_entropy(logits_per_image/temp, labels)
    loss_t = F.cross_entropy(logits_per_text/temp, labels)
    return (loss_i + loss_t)/2

动态调整策略：初期设 τ =0.1，每 5 个 epoch 乘以 0.95。

# 数据加载示例
class ClipDataset(Dataset):
    def __init__(self, img_dir, csv_path):
        self.transform = transforms.Compose([transforms.RandomResizedCrop(224),
            transforms.ToTensor()])
        self.texts = pd.read_csv(csv_path)['caption'].values
        self.image_paths = [os.path.join(img_dir, f) for f in os.listdir(img_dir)]

    def __getitem__(self, idx):
        image = Image.open(self.image_paths[idx])
        return self.transform(image), self.texts[idx]

# 梯度累积训练
accum_steps = 4
for epoch in range(epochs):
    for i, (images, texts) in enumerate(dataloader):
        with torch.cuda.amp.autocast():  # 混合精度
            image_features = image_encoder(images)
            text_features = text_encoder(texts)
            loss = contrastive_loss(image_features, text_features)

        # 梯度累积
        loss = loss / accum_steps
        loss.backward()

        if (i+1) % accum_steps == 0:
            optimizer.step()
            optimizer.zero_grad()