CLIP预训练技术解析：从多模态基础到实战应用

1次阅读

共计 2453 个字符，预计需要花费 7 分钟才能阅读完成。

CLIP（Contrastive Language-Image Pre-training）是 OpenAI 在 2021 年提出的多模态预训练模型，它通过对比学习的方式将图像和文本映射到同一语义空间。这一技术在计算机视觉与自然语言处理的交叉领域具有重要意义，因为它首次实现了无需特定任务微调即可完成多种下游任务的通用视觉 - 语言表征能力。

CLIP 的核心思想是通过对比学习最大化匹配图像 - 文本对的相似度，同时最小化不匹配对的相似度。其损失函数可表示为：

$$\mathcal{L} = -\frac{1}{N}\sum_{i=1}^N \left[\log \frac{\exp(s_{ii}/\tau)}{\sum_{j=1}^N \exp(s_{ij}/\tau)} + \log \frac{\exp(s_{ii}/\tau)}{\sum_{j=1}^N \exp(s_{ji}/\tau)} \right]$$

其中 $s_{ij}$ 是图像 $i$ 和文本 $j$ 的相似度得分，$\tau$ 是温度系数。

CLIP 采用对称的双编码器设计：

图像编码器：可选 ResNet 或 Vision Transformer 架构
文本编码器：基于 Transformer 的文本模型

两个编码器将各自模态的数据映射到相同的 embedding 空间。

CLIP 使用了 4 亿个互联网上的图像 - 文本对进行训练，关键策略包括：

超大 batch size（可达 32,768）
混合精度训练
分布式计算优化

import torch
import torch.nn as nn
from transformers import ViTModel

class ImageEncoder(nn.Module):
    def __init__(self, model_name='google/vit-base-patch16-224'):
        super().__init__()
        self.model = ViTModel.from_pretrained(model_name)
        self.proj = nn.Linear(768, 512)  # 投影到统一维度

    def forward(self, x):
        features = self.model(x).last_hidden_state[:, 0, :]
        return self.proj(features)

from transformers import BertModel, BertTokenizer

class TextEncoder(nn.Module):
    def __init__(self, model_name='bert-base-uncased'):
        super().__init__()
        self.tokenizer = BertTokenizer.from_pretrained(model_name)
        self.model = BertModel.from_pretrained(model_name)
        self.proj = nn.Linear(768, 512)

    def forward(self, text):
        inputs = self.tokenizer(text, return_tensors='pt', padding=True, truncation=True)
        outputs = self.model(**inputs)
        return self.proj(outputs.last_hidden_state[:, 0, :])

def clip_loss(image_emb, text_emb, temperature=0.07):
    # 归一化 embedding
    image_emb = F.normalize(image_emb, p=2, dim=-1)
    text_emb = F.normalize(text_emb, p=2, dim=-1)

    # 计算相似度矩阵
    logits = torch.matmul(image_emb, text_emb.t()) / temperature

    # 对称对比损失
    labels = torch.arange(logits.size(0)).to(logits.device)
    loss_i = F.cross_entropy(logits, labels)
    loss_t = F.cross_entropy(logits.t(), labels)
    return (loss_i + loss_t) / 2

CLIP 可直接通过文本提示完成分类任务，无需传统分类器的训练过程。例如：