CLIP图像语义检索从入门到实战：基于Python的跨模态搜索实现

1次阅读

共计 1906 个字符，预计需要花费 5 分钟才能阅读完成。

传统基于内容的图像检索 (CBIR) 主要依赖手工特征（如 SIFT）或 CNN 特征（如 ResNet），存在两个核心问题：

语义鸿沟：低层视觉特征难以匹配高层语义概念
模态壁垒：无法直接关联文本与图像特征空间

实际场景如电商商品搜索、医疗影像分析中，用户更倾向于用自然语言（如 ” 红色连衣裙 ” 或 ” 肺部 CT 结节 ”）进行搜索。这正是 CLIP（Contrastive Language-Image Pretraining）的用武之地。

# ResNet50 特征提取示例
from torchvision.models import resnet50
model = resnet50(pretrained=True)
features = model(image)  # 输出 2048 维视觉特征

# CLIP 双编码器结构
import clip
device = "cuda" if torch.cuda.is_available() else "cpu"
model, preprocess = clip.load("ViT-B/32", device=device)
image_features = model.encode_image(image)  # 768 维
text_features = model.encode_text(text)    # 768 维

关键差异在于：
– CLIP 通过对比学习将图像和文本映射到 共享的 768 维空间
– 相似度计算采用余弦相似度：
$$\text{sim}(x,y) = \frac{x \cdot y}{|x| |y|}$$
实验表明，在 Fashion-MNIST 数据集上，CLIP 的 top- 5 准确率比 ResNet 高 17%。

# 图像编码（带 GPU 加速）def encode_images(image_paths, batch_size=64):
    all_features = []
    for i in range(0, len(image_paths), batch_size):
        batch = [preprocess(Image.open(p)) for p in image_paths[i:i+batch_size]]
        batch = torch.stack(batch).to(device)
        with torch.no_grad():
            features = model.encode_image(batch)
        all_features.append(features.cpu())
    return torch.cat(all_features)

import faiss

# 创建量化索引
d = 768  # 向量维度
quantizer = faiss.IndexFlatIP(d)
index = faiss.IndexIVFPQ(quantizer, d, 100, 16, 8)  # 压缩比 16x

# 添加向量（需归一化）features = F.normalize(features, p=2, dim=1)
index.train(features)
index.add(features)

数据量	FP32 内存	FP16 内存	INT8 内存
100 万	2.9GB	1.5GB	0.7GB

# FP16 量化示例
model.half()  # 半精度模型
features = features.half()  # 半精度特征

测试数据表明：
– INT8 量化使检索速度提升 3 倍，召回率下降约 5%
– FP16 是速度与精度的较好平衡点

词汇扩展：用 BERT 生成同义词替换
描述重组：”A photo of [OOV]” 模板
注意力掩码：忽略未知 token 的 embedding

当图像与文本描述关联性弱时：
– 使用 BLIP 生成替代文本描述
– 采用多模态融合：$\text{score} = 0.7\text{CLIP} + 0.3\text{ResNet}$

# 形状校验示例
def safe_cosine_sim(a, b):
    assert a.shape[1] == b.shape[1], f"维度不匹配: {a.shape} vs {b.shape}"
    return (a @ b.T) / (torch.norm(a, dim=1) * torch.norm(b, dim=1))