CLIP多模态嵌入空间入门指南：从原理到实战应用

1次阅读

共计 2043 个字符，预计需要花费 6 分钟才能阅读完成。

CLIP（Contrastive Language-Image Pretraining）是 OpenAI 提出的多模态模型，它通过对比学习的方式，在庞大的图像 - 文本对数据集上进行训练，从而学习到一个共享的嵌入空间。这个空间的神奇之处在于，图像和文本的嵌入可以直接比较相似度，实现了跨模态的语义对齐。

与传统单模态嵌入（如 Word2Vec、ResNet）相比，CLIP 突破了模态间的壁垒。举个例子：用 ResNet 提取的图像特征和 Word2Vec 提取的文本特征，就像两个不同国家的货币，无法直接兑换；而 CLIP 则像建立了一个汇率体系，让两种货币可以自由流通。

单模态嵌入的局限
图像和文本特征分布于不同向量空间
需要额外设计跨模态融合模块
领域迁移能力较弱
CLIP 的优势特性
共享的 128 维嵌入空间（ViT-B/32 版本）
零样本（zero-shot）分类能力
自然语言作为监督信号

# 安装依赖（建议使用 Python 3.8+）!pip install torch torchvision ftfy regex clip

import torch
import clip
from PIL import Image

# 模型加载（自动下载预训练权重）device = "cuda" if torch.cuda.is_available() else "cpu"
model, preprocess = clip.load("ViT-B/32", device=device)

# 文本嵌入计算
text_inputs = clip.tokenize(["a dog", "a cat"]).to(device)
with torch.no_grad():
    text_features = model.encode_text(text_inputs)

# 图像嵌入计算
image = preprocess(Image.open("dog.jpg")).unsqueeze(0).to(device)
with torch.no_grad():
    image_features = model.encode_image(image)

# 相似度计算（余弦相似度）similarity = (image_features @ text_features.T).softmax(dim=-1)
print(f"Probs: {similarity.cpu().numpy()}")

class ClipRetriever:
    def __init__(self):
        self.model, self.preprocess = clip.load("ViT-B/32")
        self.text_db = {}  # 文本数据库

    def add_text(self, id: str, text: str):
        tokens = clip.tokenize([text]).to(device)
        self.text_db[id] = self.model.encode_text(tokens)

    def search(self, image_path: str, top_k=3):
        image = self.preprocess(Image.open(image_path)).unsqueeze(0).to(device)
        image_feat = self.model.encode_image(image)

        scores = {}
        for tid, text_feat in self.text_db.items():
            scores[tid] = torch.cosine_similarity(image_feat, text_feat)

        return sorted(scores.items(), key=lambda x: -x[1])[:top_k]