CLIP图像语义检索从入门到实战：基于Python的跨模态搜索实现

1次阅读

共计 2095 个字符，预计需要花费 6 分钟才能阅读完成。

传统基于内容的图像检索（CBIR）主要依赖手工特征（如 SIFT）或 CNN 特征（如 ResNet 最后一层输出）。这些方法存在两个致命缺陷：

特征空间与文本语义空间割裂，无法用自然语言直接查询
相似度计算依赖低级视觉特征（如颜色、纹理），对抽象概念（” 喜庆氛围 ”、” 商务风格 ”）表达能力差

而在电商场景中，用户可能搜索 ” 适合海边度假的印花连衣裙 ”；在医疗场景中，需要根据 ”CT 显示右下肺磨玻璃结节 ” 查找类似病例——这正是 CLIP 的用武之地。

CLIP 的核心创新在于将图像和文本映射到 共享的语义空间。对比传统方法：

\begin{aligned}
\text{ResNet 特征} &\in \mathbb{R}^{2048} \\
\text{CLIP 特征} &\in \mathbb{R}^{768} \quad \text{(与文本向量同空间)}
\end{aligned}

相似度计算采用余弦相似度，比欧氏距离更适合高维空间：

\text{sim}(I,T) = \frac{I \cdot T}{\|I\|\|T\|} \in [-1,1]

from transformers import CLIPProcessor, CLIPModel
import torch

# 自动下载预训练模型 (ViT-B/32)
model = CLIPModel.from_pretrained("openai/clip-vit-base-patch32")
processor = CLIPProcessor.from_pretrained("openai/clip-vit-base-patch32")

def encode_image(image):
    inputs = processor(images=image, return_tensors="pt", padding=True)
    with torch.no_grad():
        return model.get_image_features(**inputs).cpu().numpy()

def encode_text(text):
    inputs = processor(text=text, return_tensors="pt", padding=True)
    with torch.no_grad():
        return model.get_text_features(**inputs).cpu().numpy()

import faiss
import numpy as np

# 构建索引 (假设已有 10 万张图片特征)
dim = 768
index = faiss.IndexFlatIP(dim)  # Inner Product 近似余弦相似度

# 添加向量 (需 L2 归一化)
image_vectors = np.random.rand(100000, dim).astype('float32')
faiss.normalize_L2(image_vectors)
index.add(image_vectors)

# 查询 Top5 相似图片
query_vector = encode_image("example.jpg")
faiss.normalize_L2(query_vector)
D, I = index.search(query_vector, 5)  # D 为相似度，I 为索引

原始 FP32 向量：768 维 × 4 字节 = 3KB/ 向量
100 万向量 ≈ 2.8GB → INT8 量化后仅 0.7GB

# FP16 量化示例
index = faiss.IndexFlatIP(dim)
faiss.downcast_index(index, faiss.IndexScalarQuantizer(dim, faiss.ScalarQuantizer.QT_fp16))

from concurrent.futures import ThreadPoolExecutor

def batch_encode(images, batch_size=32):
    with ThreadPoolExecutor() as executor:
        return np.vstack(list(executor.map(encode_image, images)))