CLIP视觉编码器入门指南：从原理到实践的最佳路径

1次阅读

共计 1656 个字符，预计需要花费 5 分钟才能阅读完成。

在 ResNet 等传统视觉模型中，我们需要大量标注数据来训练模型识别特定类别。比如训练一个猫狗分类器，必须准备成千上万张明确标注 ” 猫 ” 或 ” 狗 ” 的图片。而 CLIP(Contrastive Language-Image Pretraining) 的革命性在于：

零样本迁移能力 ：无需任何特定类别的训练数据，直接通过自然语言描述就能识别新类别
多模态理解 ：同时处理图像和文本信息，建立两者之间的语义关联
开放词汇识别 ：支持任意文本描述的查询，不受固定类别限制

举个例子：用 ResNet 识别 ” 柯基犬 ” 需要专门训练，而 CLIP 只需输入 ” 一只短腿的威尔士犬 ” 就能准确匹配。

import torch
import clip  # 官方提供的 Python 包
from PIL import Image

# 自动选择可用设备
device = "cuda" if torch.cuda.is_available() else "cpu"

# 加载预训练模型 (支持多种版本)
model, preprocess = clip.load("ViT-B/32", device=device)  # 推荐 ViT-B/32 平衡速度与精度

# FP16 量化节省显存 (RTX 显卡推荐)
model = model.half() if 'cuda' in device else model

CLIP 需要严格的输入规范化：

# 图像预处理流程 (官方标准化操作)
image = preprocess(Image.open("dog.jpg")).unsqueeze(0).to(device)

# 文本预处理 (自动处理大小写 / 标点)
text_inputs = clip.tokenize(["a photo of a dog", "a picture of a cat"]).to(device)

# 图像编码 (输出归一化的特征向量)
with torch.no_grad():
    image_features = model.encode_image(image.half())  # FP16 加速
    text_features = model.encode_text(text_inputs)

# 计算余弦相似度 (范围 [-1,1])
logits_per_image = (image_features @ text_features.T).softmax(dim=1)
print("预测概率:", logits_per_image)

# 批量处理 100 张图片 (比循环快 20 倍 +)
batch_images = torch.stack([preprocess(Image.open(f"image_{i}.jpg")) 
                           for i in range(100)]).to(device)

# 分块处理避免 OOM
chunk_size = 32
for i in range(0, len(batch_images), chunk_size):
    chunk = batch_images[i:i + chunk_size]
    features = model.encode_image(chunk)