CLIP预训练模型实战：从零构建跨模态搜索系统

1次阅读

共计 1935 个字符，预计需要花费 5 分钟才能阅读完成。

在电商、内容平台等场景中，图文跨模态搜索一直是个技术难点。传统方案通常面临两大核心问题：

特征空间不一致：文本用 Word2Vec/TF-IDF 提取特征，图片用 ResNet/VGG 提取特征，两者在数学空间上完全不兼容，导致相似度计算失真
冷启动数据不足：需要大量标注好的图文配对数据才能训练模型，但现实中高质量标注数据获取成本极高

根据 OpenAI 论文《Learning Transferable Visual Models From Natural Language Supervision》的实验数据：

在 Flickr30K 数据集上，CLIP 的图文检索 mAP 达到 88.2%，比传统双塔模型高 31%
零样本（zero-shot）迁移能力显著：在 ImageNet 上无需微调即可达到 76.2% 准确率
特征空间对齐度更好：t-SNE 可视化显示图文特征点分布高度重合

# 安装关键库
pip install torch torchvision transformers faiss-gpu

from transformers import CLIPModel, CLIPProcessor

# 加载预训练模型（中文版可替换为 OFA 模型）model = CLIPModel.from_pretrained("openai/clip-vit-base-patch32")
processor = CLIPProcessor.from_pretrained("openai/clip-vit-base-patch32")

class ProductDataset(torch.utils.data.Dataset):
    def __init__(self, df, processor):
        self.images = df["image_path"].values
        self.texts = df["product_title"].values
        self.processor = processor

    def __getitem__(self, idx):
        image = Image.open(self.images[idx])
        inputs = self.processor(text=[self.texts[idx]], 
            images=image,
            return_tensors="pt",
            padding=True
        )
        return inputs

# 温度系数可调节特征分布紧密度
temperature = 0.07

# 计算图文相似度矩阵
logits_per_image = image_embeds @ text_embeds.t() / temperature
logits_per_text = text_embeds @ image_embeds.t() / temperature

# 对称对比损失
loss_img = F.cross_entropy(logits_per_image, labels)
loss_txt = F.cross_entropy(logits_per_text, labels)
loss = (loss_img + loss_txt) / 2

import faiss

# 建立索引
d = 512  # CLIP 特征维度
index = faiss.IndexFlatIP(d)
index.add(image_embeddings)

# 相似搜索
D, I = index.search(text_embedding, k=5)  # 返回 top5 结果