CLIP图像对比学习入门指南：从理论到PyTorch实战

1次阅读

共计 2051 个字符，预计需要花费 6 分钟才能阅读完成。

传统计算机视觉任务通常需要大量标注数据。比如训练一个猫狗分类器，我们需要成千上万张明确标注「猫」或「狗」的图片。而 CLIP（Contrastive Language-Image Pretraining）的革命性在于：它通过对比学习的方式，让模型自动理解图片和文本之间的关系，实现了真正的零样本（zero-shot）迁移能力。

标注依赖 ：传统方法需要精确的类别标注，CLIP 只需要图片 - 文本对
泛化能力 ：传统模型只能识别训练过的类别，CLIP 可理解自然语言描述的任意概念
训练效率 ：CLIP 通过对比学习同时优化视觉和文本表征，效率更高

CLIP 包含两个核心组件：

图像编码器 ：常用 ViT 或 ResNet，将图片转换为特征向量
文本编码器 ：通常使用 Transformer，将文本转换为相同维度的特征向量

关键设计是让配对的图片 - 文本在特征空间尽可能接近，不配对的尽可能远离。

import torch
from torchvision import transforms

# 图像预处理
train_transform = transforms.Compose([transforms.Resize(256),
    transforms.CenterCrop(224),
    transforms.ToTensor(),
    transforms.Normalize(mean=[0.485, 0.456, 0.406],
        std=[0.229, 0.224, 0.225]
    )
])

# 文本预处理（简化版）def tokenize(text, max_length=77):
    # 实际应使用 BERT 等 tokenizer
    return torch.randint(0, 1000, (max_length,))

class ContrastiveLoss(torch.nn.Module):
    def __init__(self, temperature=0.07):
        super().__init__()
        self.temperature = temperature
        self.cosine_sim = torch.nn.CosineSimilarity(dim=2)

    def forward(self, image_features, text_features):
        # 计算相似度矩阵
        logits = self.cosine_sim(image_features.unsqueeze(1),
            text_features.unsqueeze(0)
        ) / self.temperature

        # 构建标签（对角线为匹配对）labels = torch.arange(logits.shape[0]).to(logits.device)

        # 对称的交叉熵损失
        loss_i = torch.nn.functional.cross_entropy(logits, labels)
        loss_t = torch.nn.functional.cross_entropy(logits.T, labels)
        return (loss_i + loss_t) / 2

def train_one_epoch(model, loader, optimizer):
    model.train()
    total_loss = 0

    for images, texts in loader:
        # 获取特征
        image_features = model.encode_image(images)
        text_features = model.encode_text(texts)

        # 计算损失
        loss = criterion(image_features, text_features)

        # 反向传播
        optimizer.zero_grad()
        loss.backward()
        optimizer.step()

        total_loss += loss.item()

    return total_loss / len(loader)