CLIP图文对比学习实战指南：从零构建跨模态理解模型

1次阅读

共计 2183 个字符，预计需要花费 6 分钟才能阅读完成。

CLIP 的核心创新在于采用对称的双塔结构：

图像编码器 ：常用 ViT 或 ResNet，输出 L2 归一化的特征向量 $v_i$
文本编码器 ：基于 Transformer，输出归一化文本特征 $t_j$
相似度矩阵 ：计算 batch 内所有图文对的 cosine 相似度 $S_{ij} = v_i^T t_j$

数学上，对比损失（InfoNCE）定义为：
$$\mathcal{L} = -\frac{1}{N}\sum_{i=1}^N \log\frac{\exp(S_{ii}/\tau)}{\sum_{j=1}^N \exp(S_{ij}/\tau)}$$
其中温度参数 $\tau$ 控制分布尖锐程度，典型值 0.07。

MSCOCO：
每张图 5 个独立描述
需注意同一 batch 避免包含相同图像的多个描述
官方 split 存在验证集测试集图像重叠
Flickr30k：
描述更具口语化特点
图像风格更生活化
建议预处理时过滤掉含特殊字符的文本

class ClipDataset(Dataset):
    def __init__(self, img_dir, txt_path, transform):
        self.image_paths = [...]  # 遍历 img_dir
        self.texts = [...]  # 加载 txt 文件
        self.transform = transform

    def __getitem__(self, idx):
        image = Image.open(self.image_paths[idx])
        return {'image': self.transform(image),
            'text': self.texts[idx]
        }

def train_epoch(model, loader, optimizer, scheduler, device):
    model.train()
    for batch in loader:
        images = batch['image'].to(device)
        texts = tokenizer(batch['text']).to(device)

        # 计算特征和相似度
        image_features = model.encode_image(images)
        text_features = model.encode_text(texts)
        logits = (image_features @ text_features.T) * torch.exp(model.tau)

        # 对称对比损失
        labels = torch.arange(len(images)).to(device)
        loss = (F.cross_entropy(logits, labels) + 
                F.cross_entropy(logits.T, labels)) / 2

        loss.backward()
        optimizer.step()
        scheduler.step()
        optimizer.zero_grad()

数据增强平衡性
图像端：RandAugment 的 magnitude 建议 12-15
文本端：避免过度使用 synonym replacement
验证增强效果：可视化增强后的典型样本

大 batch 训练技巧

# 梯度累积实现
optimizer.zero_grad()
for i, batch in enumerate(loader):
    loss = compute_loss(batch)
    loss = loss / accumulation_steps
    loss.backward()

    if (i+1) % accumulation_steps == 0:
        optimizer.step()
        optimizer.zero_grad()

注意力可视化验证

# 使用 HF transformers 可视化
from transformers import CLIPProcessor, CLIPModel
model = CLIPModel.from_pretrained("openai/clip-vit-base-patch32")
processor = CLIPProcessor.from_pretrained("openai/clip-vit-base-patch32")

inputs = processor(text=["a dog"], images=image, return_tensors="pt", 
                  return_attention_mask=True)
outputs = model(**inputs, output_attentions=True)
# 绘制 cross-attention 热力图