深入解析CLIP编码器：从原理到多模态应用实践

1次阅读

共计 2219 个字符，预计需要花费 6 分钟才能阅读完成。

在 CLIP（Contrastive Language-Image Pretraining）出现之前，跨模态检索主要面临特征空间不对齐（feature space misalignment）的问题。例如，用 CNN 提取图像特征和用 BERT 提取文本特征时，两类特征会分布在完全不同的向量空间中，导致相似度计算失效。传统方法往往需要复杂的对齐网络或手工设计的损失函数来弥合这种鸿沟。

CLIP 通过对比学习（contrastive learning）彻底改变了这一局面——它让图像和文本在共享的嵌入空间（shared embedding space）中自然对齐。这种端到端的训练方式使得 ” 用文字搜图 ” 和 ” 用图搜文 ” 变得像在单一模态内检索一样简单。

CLIP 采用对称的双塔结构（dual-encoder architecture）：

图像编码器 ：通常选用 Vision Transformer（ViT）或 ResNet
文本编码器 ：基于 Transformer 的文本模型

两路编码器不共享参数，但通过对比损失迫使它们输出相同维度的归一化特征向量（L2-normalized embeddings）。

训练目标是最小化以下损失函数：

$$\mathcal{L} = -\frac{1}{N}\sum_{i=1}^N \left(\log \frac{e^{sim(I_i,T_i)/\tau}}{\sum_{j=1}^N e^{sim(I_i,T_j)/\tau}} + \log \frac{e^{sim(T_i,I_i)/\tau}}{\sum_{j=1}^N e^{sim(T_i,I_j)/\tau}} \right)$$

其中 $sim(I,T)=I^TT$ 是余弦相似度，$\tau$ 是可学习的温度参数。

虽然图像和文本编码器不直接共享参数，但 CLIP 巧妙地在两个领域都使用了相似的 Transformer 结构。特别是 ViT 中的 patch 投影层与文本的 token 嵌入层，都采用线性变换将输入映射到隐藏空间，这种结构同源性（architectural homology）可能有助于跨模态对齐。

import torch
import torch.nn.functional as F
from transformers import CLIPModel, CLIPProcessor

# 加载预训练模型
model = CLIPModel.from_pretrained("openai/clip-vit-base-patch32")
processor = CLIPProcessor.from_pretrained("openai/clip-vit-base-patch32")

# 半精度推理优化
model = model.half().cuda()  

# 前向传播示例
def encode_inputs(images, texts):
    inputs = processor(
        text=texts, 
        images=images, 
        return_tensors="pt", 
        padding=True,
        truncation=True
    ).to("cuda")

    # 特征提取
    with torch.no_grad():
        outputs = model(**inputs)

    # L2 归一化是关键步骤！image_embeds = F.normalize(outputs.image_embeds, p=2, dim=-1)
    text_embeds = F.normalize(outputs.text_embeds, p=2, dim=-1)

    return image_embeds, text_embeds

# 相似度计算
image_feat, text_feat = encode_inputs(["cat.jpg"], ["a photo of cat"])
similarity = (image_feat @ text_feat.T) * model.logit_scale.exp()