CLIP预训练模型解析：从原理到落地实践

1次阅读

没有评论

共计 1732 个字符，预计需要花费 5 分钟才能阅读完成。

CLIP（Contrastive Language-Image Pre-training）是 OpenAI 提出的一种多模态预训练模型，通过对比学习的方式将图像和文本映射到同一个语义空间。与传统视觉模型相比，CLIP 有几个显著特点：

训练目标不同：传统视觉模型通常使用交叉熵损失进行监督学习，而 CLIP 使用对比学习目标函数，最大化匹配图像 - 文本对的相似度，最小化不匹配对的相似度。
数据规模差异：CLIP 使用了 4 亿个图像 - 文本对进行训练，远超传统视觉模型的数据量。
架构创新：CLIP 采用双编码器架构，图像编码器（ViT 或 ResNet）和文本编码器（Transformer）并行训练。

CLIP 的零样本迁移能力源自其预训练阶段学到的通用视觉 - 语言对齐。具体实现分为三步：

文本提示工程 ：将分类任务转化为自然语言描述（如 ” 一张{类别} 的图片 ”）
特征空间投影：图像和文本提示分别通过各自的编码器映射到共享特征空间
相似度计算：计算图像特征与所有文本提示特征的余弦相似度，取最大值作为预测结果

这种设计使得 CLIP 无需微调就能适应新的视觉概念，只要能用自然语言描述该概念即可。

import torch
import clip
from PIL import Image

# 1. 模型加载
device = "cuda" if torch.cuda.is_available() else "cpu"
model, preprocess = clip.load("ViT-B/32", device=device)

# 2. 准备数据
image = preprocess(Image.open("dog.jpg")).unsqueeze(0).to(device)
text_inputs = torch.cat([clip.tokenize(f"a photo of a {c}") for c in ["dog", "cat", "bird"]]).to(device)

# 3. 特征提取
with torch.no_grad():
    image_features = model.encode_image(image)
    text_features = model.encode_text(text_inputs)

# 4. 计算相似度并预测
image_features /= image_features.norm(dim=-1, keepdim=True)
text_features /= text_features.norm(dim=-1, keepdim=True)
similarity = (100.0 * image_features @ text_features.T).softmax(dim=-1)
values, indices = similarity[0].topk(1)

print(f"预测结果: {['dog','cat','bird'][indices.item()]}, 置信度: {values.item():.2f}")