CLIP图像对比学习入门指南：从理论到PyTorch实战

1次阅读

共计 1959 个字符，预计需要花费 5 分钟才能阅读完成。

传统的计算机视觉模型通常需要大量标注数据来训练，比如 ImageNet 分类任务需要每张图片对应一个类别标签。但现实世界中，图像和文本的关联往往更加灵活多样——一张图片可以用多种语言描述，而一段文本也能对应无数图像。CLIP（Contrastive Language-Image Pretraining）正是为了解决这种跨模态理解问题而生。

传统图像分类 ：固定类别体系，模型只能预测训练时见过的类别
CLIP 的突破 ：
通过对比学习建立图像和文本的通用嵌入空间
支持零样本推理（zero-shot）——无需微调即可处理新类别
理解开放式语义（如 ” 一只戴墨镜的狗 ” 这种未预定义的描述）

CLIP 由两个核心组件构成：

图像编码器 ：常用 ViT 或 ResNet 提取图像特征
输入：224×224 像素的 RGB 图像
输出：512 维特征向量（以 OpenAI 官方版本为例）
文本编码器 ：基于 Transformer 处理文本
输入：77 个 token 的文本描述（不足部分用 padding 补全）
输出：与图像特征相同维度的文本向量

两个编码器的输出会经过 L2 归一化，然后计算余弦相似度。

import torch
from torchvision import transforms

# 图像预处理
image_preprocess = transforms.Compose([transforms.Resize(256),
    transforms.CenterCrop(224),
    transforms.ToTensor(),
    transforms.Normalize(mean=[0.48145466, 0.4578275, 0.40821073],
        std=[0.26862954, 0.26130258, 0.27577711]
    )
])

# 文本预处理（需配合 tokenizer 使用）from transformers import AutoTokenizer
tokenizer = AutoTokenizer.from_pretrained("openai/clip-vit-base-patch32")

def contrastive_loss(logits_per_image, logits_per_text, temperature=0.07):
    # 计算 image-to-text 和 text-to-image 两个方向的交叉熵
    labels = torch.arange(len(logits_per_image)).to(device)
    loss_i = F.cross_entropy(logits_per_image/temperature, labels)
    loss_t = F.cross_entropy(logits_per_text/temperature, labels)
    return (loss_i + loss_t) / 2

for epoch in range(epochs):
    for images, texts in dataloader:
        # 前向传播
        image_features = image_encoder(images)
        text_features = text_encoder(texts)

        # 计算相似度矩阵
        logits_per_image = image_features @ text_features.T
        logits_per_text = text_features @ image_features.T

        # 计算损失
        loss = contrastive_loss(logits_per_image, logits_per_text)

        # 反向传播
        optimizer.zero_grad()
        loss.backward()
        optimizer.step()