基于CLIP的图文对比学习实战：从模型原理到生产环境部署

1次阅读

没有评论

共计 2917 个字符，预计需要花费 8 分钟才能阅读完成。

在图文跨模态检索任务中，传统方法面临两个核心问题：

特征空间不一致：图像和文本的嵌入向量通常来自独立训练的模型，导致模态间对齐困难
小样本学习效果差：当标注数据有限时，传统双塔模型的泛化能力急剧下降

与 ResNet+BERT 的双塔架构相比，CLIP 通过对比学习实现了三大突破：

使用 ViT（Vision Transformer）替代 CNN，获得更全局的图像特征表示
采用对称的 InfoNCE 损失函数，强制图文特征在共享空间中对齐
通过海量互联网数据进行预训练，获得 zero-shot 迁移能力

图像处理采用 Albumentations 库实现高效增强：

import albumentations as A

train_transform = A.Compose([A.RandomResizedCrop(224, 224),  # [H,W,C] -> [224,224,3]
    A.HorizontalFlip(p=0.5),
    A.Normalize(mean=[0.481, 0.457, 0.408], 
                std=[0.268, 0.261, 0.275])
])

文本侧使用 BERT tokenizer 进行处理，注意需与 CLIP 预训练时保持一致：

from transformers import CLIPTokenizer
tokenizer = CLIPTokenizer.from_pretrained("openai/clip-vit-base-patch32")

# 输入文本输出 shape 为 [batch_size, max_length=77]
tokens = tokenizer(["a photo of a cat"], 
                  padding='max_length', 
                  return_tensors="pt")

核心是计算 image-text 相似度矩阵并优化 InfoNCE 损失：

import torch
import torch.nn.functional as F

def contrastive_loss(logits_per_image, logits_per_text, temperature=0.07):
    # logits_per_image shape: [batch_size, batch_size]
    # logits_per_text shape: [batch_size, batch_size]

    # 计算图像到文本的对比损失
    labels = torch.arange(logits_per_image.size(0))
    loss_i = F.cross_entropy(logits_per_image/temperature, labels)

    # 计算文本到图像的对比损失（对称结构）loss_t = F.cross_entropy(logits_per_text/temperature, labels)

    return (loss_i + loss_t) / 2

温度系数（temperature）的调优建议：

初始值设为 0.07（CLIP 论文默认值）
如果损失震荡剧烈，适当增大 temperature（如 0.1）
如果模型收敛过慢，可尝试减小 temperature（如 0.05）

使用 PyTorch 的 DDP 模式时，需同步跨卡的 embedding 特征：

def gather_tensors(tensor):
    # 将所有 GPU 上的 tensor 拼接 [batch_size, dim] -> [batch_size*num_gpu, dim]
    gathered = [torch.zeros_like(tensor) for _ in range(dist.get_world_size())]
    dist.all_gather(gathered, tensor)
    return torch.cat(gathered)

image_features = gather_tensors(image_features)
text_features = gather_tensors(text_features)

服务化时需对输出 embedding 做 L2 归一化：

# 生产环境建议使用 ONNX 或 TorchScript
@torch.no_grad()
def get_image_embedding(image):
    features = model.encode_image(image)  # [1, embed_dim]
    return F.normalize(features, p=2, dim=-1)  # 关键步骤！

使用 FAISS 建立高效检索索引：

import faiss

# 建立 IVF 索引加速检索
index = faiss.IndexIVFFlat(faiss.IndexFlatIP(512),  # 内积距离
    512,  # 向量维度
    nlist=100  # 聚类中心数
)
index.train(embeddings)  # embeddings 需是 [n, 512] 的 numpy 数组

当图像和文本数据量级差异大时，可采用动态负采样：

def get_negative_samples(query_embed, pool_embeds, top_k=5):
    # query_embed: [1, dim]
    # pool_embeds: [N, dim]
    sim = query_embed @ pool_embeds.T  # [1, N]
    _, indices = torch.topk(sim, k=top_k, largest=False)
    return pool_embeds[indices]  # [top_k, dim]

可视化图像 patch 的 attention 权重：

# 获取 ViT 最后一层的 attention map
attentions = model.visual.transformer.blocks[-1].attn.attention_maps  # [batch, heads, 197, 197]
cls_attention = attentions[0, :, 0, 1:]  # 取 CLS token 对其他 patch 的注意力

若某些文本 token 始终获得低注意力，可能存在模态偏差。

对于非英语文本，需扩展 tokenizer：

# 添加中文特殊 token
new_tokens = ["[ZH]", "图片", "描述"]
tokenizer.add_tokens(new_tokens)
model.resize_token_embeddings(len(tokenizer))  # 关键！重置 embedding 层

计算余弦相似度时加入微小 epsilon：

def safe_cosine_sim(a, b, eps=1e-8):
    # a,b shape: [..., dim]
    norm_a = a.norm(dim=-1, keepdim=True)
    norm_b = b.norm(dim=-1, keepdim=True)
    return (a * b).sum(-1) / (norm_a * norm_b + eps)