基于CLIP的图像语义检索实战：从模型微调到生产部署

1次阅读

没有评论

共计 2247 个字符，预计需要花费 6 分钟才能阅读完成。

在传统图像检索系统中，我们常常面临以下几个关键问题：

标注依赖性强：监督学习方法需要大量标注数据，标注成本高昂且难以覆盖所有场景。
跨模态检索难：传统方法很难实现文本到图像、图像到文本的自然跨模态检索。
长尾数据效果差：对于罕见类别或新出现的概念，模型表现往往不佳。

在 COCO 数据集上的对比实验显示：

传统 ResNet50+Triplet Loss 方案 mAP@50 为 0.62
CLIP(ViT-B/32)零样本检索 mAP@50 达到 0.72
经过微调的 CLIP 模型 mAP@50 可提升至 0.81

使用 OpenCLIP 加载预训练模型：

import open_clip
model, _, preprocess = open_clip.create_model_and_transforms('ViT-B-32', pretrained='laion2b_s34b_b79k')
tokenizer = open_clip.get_tokenizer('ViT-B-32')

自定义 DataLoader 处理多模态数据：

from torch.utils.data import DataLoader

class MultimodalDataset(Dataset):
    def __init__(self, image_paths, texts):
        self.image_paths = image_paths
        self.texts = texts

    def __getitem__(self, idx):
        image = preprocess(Image.open(self.image_paths[idx]))
        text = tokenizer([self.texts[idx]])
        return image, text.squeeze(0)

GPU 加速的特征提取实现：

device = 'cuda' if torch.cuda.is_available() else 'cpu'
model = model.to(device)

# 图像特征提取
with torch.no_grad(), torch.cuda.amp.autocast():
    image_features = model.encode_image(image_batch.to(device))
    torch.cuda.synchronize()  # 确保 GPU 计算完成

# 文本特征提取
text_features = model.encode_text(text_batch.to(device))

Faiss 索引构建关键配置：

import faiss

# 归一化特征
faiss.normalize_L2(features)

# IVF_PQ 索引配置
nlist = 100  # 聚类中心数
m = 8        # 子量化器数量
bits = 8     # 每个子向量的比特数

quantizer = faiss.IndexFlatIP(features.shape[1])
index = faiss.IndexIVFPQ(quantizer, features.shape[1], nlist, m, bits)
index.train(features)  # 训练索引
index.add(features)    # 添加特征

使用预计算范数加速余弦相似度计算：

# 预计算特征范数
norms = torch.norm(features, p=2, dim=1, keepdim=True)
normalized_features = features / norms

# 相似度计算（等价于余弦相似度）similarity = normalized_features @ normalized_features.T

分层学习率配置示例：

from torch.optim import AdamW

# 分层学习率设置
params = [{'params': model.visual.parameters(), 'lr': 1e-5},
    {'params': model.text.parameters(), 'lr': 5e-5},
]
optimizer = AdamW(params, weight_decay=0.01)

结合 BERT 子词分词处理生僻词：

from transformers import BertTokenizer

bert_tokenizer = BertTokenizer.from_pretrained('bert-base-uncased')

def process_oov(text):
    tokens = bert_tokenizer.tokenize(text)
    return ' '.join(tokens[:77])  # CLIP 最大长度限制

对于亿级数据，建议采用：