深入解析CLIP模型的多模态双编码器架构及对比学习原理图

1次阅读

没有评论

共计 2205 个字符，预计需要花费 6 分钟才能阅读完成。

在人工智能领域，多模态学习一直是一个极具挑战性的研究方向。传统的单模态模型（如仅处理图像或文本）往往难以理解和建立不同模态之间的关联。这导致了所谓的 ” 模态鸿沟 ” 问题，即不同模态数据之间存在天然的语义隔阂。

模态鸿沟 ：图像和文本数据在表示方式上存在本质差异，直接比较它们的特征向量往往没有意义。
数据对齐 ：获取大规模精确对齐的图文配对数据成本高昂，且人工标注可能存在偏差。
计算效率 ：传统方法需要分别训练不同模态的模型，计算资源和时间成本高。

在众多多模态模型中，CLIP(Contrastive Language-Image Pretraining) 因其独特的架构和训练方式脱颖而出。

CLIP vs 传统多模态模型 ：
传统方法：通常使用联合训练或特征拼接的方式，难以有效捕捉跨模态关系。
CLIP：采用双编码器 + 对比学习的范式，实现端到端的跨模态对齐。
CLIP vs 其他对比学习模型 ：
更简单的架构：仅包含图像和文本两个编码器，结构清晰。
更大的训练规模：使用 4 亿图文对进行预训练。
更强的泛化能力：可直接应用于零样本分类任务。

图像编码器 ：
通常采用 Vision Transformer(ViT) 或 ResNet 架构。
输入：224×224 的 RGB 图像。
输出：固定维度的图像特征向量。
文本编码器 ：
基于 Transformer 架构。
输入：文本序列（最大长度 77）。
输出：与图像特征维度相同的文本特征向量。

CLIP 的核心创新在于其对比损失函数的设计：

对于一个 batch 中的 N 个图文对：
计算 N×N 的相似度矩阵。
对角线元素是正样本对，其他是负样本对。
对称的对比损失：
图像到文本的损失：鼓励正样本对的相似度高于负样本。
文本到图像的损失：同理但方向相反。
最终损失是两者的平均值。

以下是使用 PyTorch 实现 CLIP 核心逻辑的代码片段：

import torch
import torch.nn as nn

class CLIPModel(nn.Module):
    def __init__(self, image_encoder, text_encoder, embed_dim=512):
        super().__init__()
        self.image_encoder = image_encoder
        self.text_encoder = text_encoder

        # 投影层，确保图像和文本特征维度一致
        self.image_proj = nn.Linear(image_encoder.output_dim, embed_dim)
        self.text_proj = nn.Linear(text_encoder.output_dim, embed_dim)

        # 温度参数，可学习的缩放因子
        self.logit_scale = nn.Parameter(torch.ones([]) * 1.0)

    def forward(self, images, texts):
        # 编码图像和文本
        image_features = self.image_encoder(images)
        text_features = self.text_encoder(texts)

        # 投影到共同空间
        image_embeddings = self.image_proj(image_features)
        text_embeddings = self.text_proj(text_features)

        # 归一化
        image_embeddings = image_embeddings / image_embeddings.norm(dim=-1, keepdim=True)
        text_embeddings = text_embeddings / text_embeddings.norm(dim=-1, keepdim=True)

        # 计算相似度矩阵
        logit_scale = self.logit_scale.exp()
        logits_per_image = logit_scale * image_embeddings @ text_embeddings.t()
        logits_per_text = logits_per_image.t()

        return logits_per_image, logits_per_text

在多个标准数据集上的测试结果表明：