深入解析CLIP模型：跨模态对比学习的架构设计与实现

1次阅读

共计 1483 个字符，预计需要花费 4 分钟才能阅读完成。

CLIP（Contrastive Language-Image Pretraining）是 OpenAI 提出的跨模态学习模型，通过对比学习实现图像和文本的联合表征。其核心价值在于：

无需人工标注即可学习视觉概念
支持零样本（zero-shot）迁移到下游任务
在 30+ 个视觉基准测试中达到监督学习性能

模型采用对称的 Transformer 架构：

graph LR
    A[图像输入] --> B[ResNet/ViT 编码器]
    C[文本输入] --> D[Transformer 编码器]
    B --> E[L2 归一化]
    D --> E
    E --> F[对比损失计算]

关键设计要点：

图像编码器可选 ResNet 或 Vision Transformer
文本编码器使用 63M 参数的 Transformer
输出特征空间维度统一为 512

采用 InfoNCE（NT-Xent）损失函数：

$$\mathcal{L} = -\frac{1}{N}\sum_{i=1}^N \log \frac{\exp(s_{ii}/\tau)}{\sum_{j=1}^N \exp(s_{ij}/\tau)}$$

其中：
– $s_{ij}$ 是图像 i 和文本 j 的余弦相似度
– $\tau$ 是可学习温度参数
– N 为 batch size

import torch
import torch.nn as nn

class CLIP(nn.Module):
    def __init__(self, image_encoder, text_encoder, dim=512):
        super().__init__()
        self.image_encoder = image_encoder  # ResNet/ViT
        self.text_encoder = text_encoder    # Transformer
        self.logit_scale = nn.Parameter(torch.ones([]) * np.log(1/0.07))

    def forward(self, images, texts):
        # 特征提取
        image_features = self.image_encoder(images)
        text_features = self.text_encoder(texts)

        # 归一化
        image_features = image_features / image_features.norm(dim=1, keepdim=True)
        text_features = text_features / text_features.norm(dim=1, keepdim=True)

        # 相似度计算
        logit_scale = self.logit_scale.exp()
        logits = logit_scale * image_features @ text_features.t()
        return logits