CLIP对比学习框架入门指南：从零构建跨模态理解模型

1次阅读

共计 2404 个字符，预计需要花费 7 分钟才能阅读完成。

在机器学习领域，让计算机同时理解图像和文本一直是项挑战。传统方法通常需要大量标注好的 ” 图像 - 文本 ” 配对数据，这类数据不仅收集成本高，标注过程也极其耗时。比如，要训练一个能自动生成图片描述的模型，传统做法需要人工为每张图片写下对应的描述文本。

更麻烦的是，这种严格配对的数据在实际应用中往往不够灵活——如果遇到训练集中没有的全新类别，模型的表现就会大幅下降。这就像只会背诵答案的学生，遇到没见过的题目就束手无策了。

需要精确的标签标注
每个类别都需要足够多的样本
难以处理开放域的新类别

只需要知道 ” 哪些数据是配对的 ”，不需要详细类别标签
通过对比正负样本自动学习特征
对新类别有更好的泛化能力

用一个生活中的例子来说明：传统监督学习就像老师告诉你 ” 这是猫，那是狗 ”，而对比学习则是让你自己观察 ” 这张猫图和那段猫的描述是一对，而和狗的图片不是一对 ”。后者更能培养出真正的理解能力。

CLIP 采用双编码器架构：

图像编码器：通常使用 ResNet 或 ViT(视觉 Transformer)
文本编码器：使用 Transformer 结构

这两个编码器会将输入转换为相同维度的向量（比如 512 维），这样就能在同一个空间里比较它们的相似度了。

CLIP 使用的损失函数叫 InfoNCE，其核心思想是：
1. 让配对 (正样本) 的向量在特征空间中靠近
2. 让不配对 (负样本) 的向量相互远离

数学表达式为：

loss = -log(exp(sim(q,k+)/τ) / ∑[exp(sim(q,k)/τ)])

其中 τ 是温度系数，控制着分布的尖锐程度。

CLIP 巧妙地利用 batch 内的其他样本作为自然负样本：
1. 对于一个 batch 中的 N 个图像 - 文本对
2. 每张图片有 1 个正文本和 N - 1 个负文本
3. 同样，每个文本有 1 个正图片和 N - 1 个负图片

这种策略既高效又避免了额外的计算开销。

import torch
import torch.nn as nn
import torch.nn.functional as F

class CLIPModel(nn.Module):
    def __init__(self, image_encoder, text_encoder, embed_dim=512, temperature=0.07):
        super().__init__()
        self.image_encoder = image_encoder
        self.text_encoder = text_encoder
        # 将图像和文本特征投影到相同维度
        self.image_proj = nn.Linear(image_encoder.output_dim, embed_dim)
        self.text_proj = nn.Linear(text_encoder.output_dim, embed_dim)
        self.temperature = temperature

    def forward(self, images, texts):
        # 提取特征
        image_features = self.image_encoder(images)
        text_features = self.text_encoder(texts)

        # 投影到共享空间
        image_embeddings = self.image_proj(image_features)
        text_embeddings = self.text_proj(text_features)

        # 归一化
        image_embeddings = F.normalize(image_embeddings, p=2, dim=-1)
        text_embeddings = F.normalize(text_embeddings, p=2, dim=-1)

        # 计算相似度矩阵
        logits = torch.matmul(image_embeddings, text_embeddings.T) / self.temperature

        # 创建标签：对角线是正样本
        batch_size = images.size(0)
        labels = torch.arange(batch_size, device=images.device)

        # 计算交叉熵损失
        loss_i = F.cross_entropy(logits, labels)
        loss_t = F.cross_entropy(logits.T, labels)
        loss = (loss_i + loss_t) / 2

        return loss