深入解析CLIP模型的多模态双编码器架构及对比学习原理图

1次阅读

共计 2112 个字符，预计需要花费 6 分钟才能阅读完成。

多模态学习一直面临一个核心问题：如何让不同模态（如图像和文本）的数据在同一个语义空间中对齐。传统方法通常依赖人工标注的数据集，这带来了两个主要问题：

数据标注成本高昂，且难以扩展到大规模应用
模型容易过拟合到特定任务，缺乏泛化能力

CLIP（Contrastive Language-Image Pretraining）通过自监督对比学习解决了这些问题。它利用互联网上大量自然存在的图像 - 文本对，让模型自动学习跨模态的语义对应关系。

在比较多种多模态架构后，CLIP 选择了双编码器设计，这与其他常见方案形成对比：

架构类型	典型代表	优点	缺点
单塔融合	UNITER	模态交互充分	计算开销大
交叉注意力	ViLBERT	细粒度对齐	预训练复杂
双编码器	CLIP	推理高效	需对比学习辅助

双编码器的核心优势在于：

图像和文本编码可以独立进行，便于并行计算
推理时只需单模态编码，适合实时应用
通过对比损失实现隐式对齐，避免复杂融合结构

CLIP 通常采用 Vision Transformer（ViT）或 ResNet 作为图像编码器：

ViT 将图像分块为 16×16 的 patch 序列
通过线性投影得到 patch embedding
添加位置编码后送入 Transformer 层
最终取 [CLS] token 作为图像表示

文本端使用标准 Transformer 架构：

对输入文本进行子词（subword）分词
经过 12 层 Transformer 编码器
取 EOS（句子结束）位置的 embedding 作为文本表示

对比学习的关键在于构建正负样本对：

# 伪代码展示对比损失计算
image_embeds = image_encoder(batch_images)  # [N, d]
text_embeds = text_encoder(batch_texts)     # [N, d]

# 归一化到单位球面
image_embeds = F.normalize(image_embeds, dim=1)
text_embeds = F.normalize(text_embeds, dim=1)

# 计算相似度矩阵
logits = image_embeds @ text_embeds.T * exp(temperature)

# 对称对比损失
labels = torch.arange(N, device=device)
loss_i = F.cross_entropy(logits, labels)  # 图像到文本
loss_t = F.cross_entropy(logits.T, labels) # 文本到图像
loss = (loss_i + loss_t)/2

以下是 PyTorch 实现的核心片段：

class CLIP(nn.Module):
    def __init__(self, image_encoder, text_encoder, embed_dim=512):
        super().__init__()
        self.image_encoder = image_encoder
        self.text_encoder = text_encoder

        # 投影到共同空间
        self.image_proj = nn.Linear(image_encoder.embed_dim, embed_dim)
        self.text_proj = nn.Linear(text_encoder.embed_dim, embed_dim)

    def forward(self, images, texts):
        # 编码图像和文本
        image_features = self.image_encoder(images)
        text_features = self.text_encoder(texts)

        # 投影到共同空间
        image_embeds = self.image_proj(image_features)
        text_embeds = self.text_proj(text_features)

        return image_embeds, text_embeds