从零开始理解CLIP：多模态对比学习模型的原理与实践指南

1次阅读

没有评论

共计 2222 个字符，预计需要花费 6 分钟才能阅读完成。

传统机器学习模型通常只处理单一模态的数据，比如图像分类模型只处理图像，文本分类模型只处理文本。这种单模态模型存在以下问题：

无法利用不同模态数据之间的关联信息
需要为每个任务单独训练模型
难以处理跨模态的任务，比如用文字描述图像内容

人类感知世界是通过多种感官协同工作的，因此让 AI 系统同时理解多种模态数据更接近真实世界的认知方式。多模态学习的主要优势包括：

可以利用不同模态数据间的互补信息
单一模型可以处理多种任务
更接近人类认知方式，具有更好的泛化能力

CLIP(Contrastive Language-Image Pretraining) 是 OpenAI 在 2021 年提出的多模态模型，其核心创新点包括：

使用对比学习代替传统的监督学习
同时学习图像和文本的表征
通过自然语言监督实现零样本迁移

对比学习的核心思想是让相似的样本在表征空间中靠近，不相似的样本远离。在 CLIP 中：

正样本：配对的图像和文本描述
负样本：不配对的图像和文本组合

CLIP 采用双编码器结构：

图像编码器：通常是 ResNet 或 Vision Transformer
文本编码器：通常是 Transformer

两个编码器将输入映射到同一表征空间，使得配对的图像和文本具有相似的向量表示。

CLIP 使用 InfoNCE 损失函数进行优化，其数学表达式为：

L = -log[exp(sim(I,T)/τ) / Σ exp(sim(I,T')/τ)]

其中：
– sim(I,T) 是图像 I 和文本 T 的相似度
– τ 是温度系数
– 分母对所有负样本求和

以下是 CLIP 的简化实现：

import torch
import torch.nn as nn
import torch.nn.functional as F

class CLIP(nn.Module):
    def __init__(self, image_encoder, text_encoder, embed_dim=512, temperature=0.07):
        super().__init__()
        self.image_encoder = image_encoder
        self.text_encoder = text_encoder
        self.temperature = temperature

        # 投影层，将不同编码器的输出映射到同一空间
        self.image_proj = nn.Linear(image_encoder.output_dim, embed_dim)
        self.text_proj = nn.Linear(text_encoder.output_dim, embed_dim)

    def forward(self, images, texts):
        # 编码图像和文本
        image_features = self.image_encoder(images)
        text_features = self.text_encoder(texts)

        # 投影到共同空间
        image_embeddings = self.image_proj(image_features)
        text_embeddings = self.text_proj(text_features)

        # 归一化
        image_embeddings = F.normalize(image_embeddings, dim=-1)
        text_embeddings = F.normalize(text_embeddings, dim=-1)

        # 计算相似度矩阵
        logits = (image_embeddings @ text_embeddings.T) / self.temperature

        # 计算损失
        labels = torch.arange(len(images), device=images.device)
        loss_i = F.cross_entropy(logits, labels)
        loss_t = F.cross_entropy(logits.T, labels)
        loss = (loss_i + loss_t) / 2

        return loss

在自定义数据集上微调 CLIP 的步骤：