跨模态检索实战：基于CLIP模型的对比学习架构优化与性能调优

1次阅读

共计 2737 个字符，预计需要花费 7 分钟才能阅读完成。

跨模态检索在电商搜索、内容审核等场景中扮演着重要角色。例如，在电商平台中，用户可能需要通过文字描述来搜索相关图片商品；在内容审核中，系统需要同时处理文本和图片，以确保内容合规。

然而，传统方法存在以下局限性：

特征空间不一致 ：文本和图片的特征提取通常使用不同的模型，导致特征空间不一致，难以直接比较。
人工标注成本高 ：传统方法依赖大量标注数据来训练模型，标注成本高昂且耗时。

CLIP 模型通过双编码器设计和对比学习，有效解决了上述问题。其架构如下：

[Image Encoder] -> [Image Features] -> [Projection Head] -> [Normalized Features]
[Text Encoder] -> [Text Features] -> [Projection Head] -> [Normalized Features]

对比学习通过 InfoNCE 损失函数实现模态对齐，公式如下：

L = -log(exp(sim(q, k+) / τ) / Σ exp(sim(q, k) / τ))

其中，sim 表示余弦相似度，τ 为温度系数，用于调节相似度分布的尖锐程度。

以下是 PyTorch 实现的示例代码：

import torch
from transformers import CLIPProcessor, CLIPModel

model = CLIPModel.from_pretrained("openai/clip-vit-base-patch32")
processor = CLIPProcessor.from_pretrained("openai/clip-vit-base-patch32")

text_inputs = processor(text=["a photo of a cat"], return_tensors="pt", padding=True)
image_inputs = processor(images=[image], return_tensors="pt", padding=True)

class ProjectionHead(nn.Module):
    def __init__(self, input_dim, output_dim):
        super().__init__()
        self.fc = nn.Linear(input_dim, output_dim)
        self.gelu = nn.GELU()
        self.layer_norm = nn.LayerNorm(output_dim)

    def forward(self, x):
        x = self.fc(x)
        x = self.gelu(x)
        x = self.layer_norm(x)
        return x

def contrastive_loss(logits, temperature=0.07):
    labels = torch.arange(logits.shape[0], device=logits.device)
    loss_i = F.cross_entropy(logits / temperature, labels)
    loss_t = F.cross_entropy(logits.t() / temperature, labels)
    return (loss_i + loss_t) / 2

from torch.cuda.amp import autocast, GradScaler

scaler = GradScaler()

with autocast():
    outputs = model(**inputs)
    loss = contrastive_loss(outputs.logits_per_image)

scaler.scale(loss).backward()
scaler.step(optimizer)
scaler.update()

accumulation_steps = 4

for i, batch in enumerate(dataloader):
    with autocast():
        outputs = model(**batch)
        loss = contrastive_loss(outputs.logits_per_image) / accumulation_steps

    scaler.scale(loss).backward()

    if (i + 1) % accumulation_steps == 0:
        scaler.step(optimizer)
        scaler.update()
        optimizer.zero_grad()

torch.onnx.export(
    model,
    (text_inputs, image_inputs),
    "clip_model.onnx",
    input_names=["input_ids", "attention_mask", "pixel_values"],
    output_names=["image_embeds", "text_embeds"],
    dynamic_axes={"input_ids": {0: "batch_size"},
        "attention_mask": {0: "batch_size"},
        "pixel_values": {0: "batch_size"},
        "image_embeds": {0: "batch_size"},
        "text_embeds": {0: "batch_size"},
    },
)

CLIP 模型的文本编码器有最大长度限制（通常为 77 个 token）。超出部分会被截断，可能导致信息丢失。解决方案是预处理时手动截断或使用滑动窗口策略。

在训练时，过度增强图像可能导致模型学习到与文本无关的特征。建议使用轻量级增强，如随机裁剪和水平翻转。

计算余弦相似度时，确保向量已归一化，并添加极小值避免除零错误：

def cosine_similarity(a, b, eps=1e-8):
    a_norm = a / (a.norm(dim=1, keepdim=True) + eps)
    b_norm = b / (b.norm(dim=1, keepdim=True) + eps)
    return torch.mm(a_norm, b_norm.t())