CLIP编码器与对比学习：从零构建跨模态理解模型

1次阅读

共计 2380 个字符，预计需要花费 6 分钟才能阅读完成。

在现实应用中，我们经常需要处理图像和文本的关联任务，比如搜索引擎中的图文匹配、智能相册的自动标注等。传统方法通常单独处理图像和文本特征，导致两个模态的特征空间不一致，难以直接比较。例如，用 CNN 提取图像特征，用 RNN 处理文本，两者的特征向量可能分布在完全不同的空间区域，直接计算相似度效果不佳。

CLIP(Contrastive Language-Image Pretraining)提出了一种新颖的解决方案：

双塔结构：使用图像编码器和文本编码器分别处理两种模态
对比学习：通过大量图文对训练，使匹配的图文特征相近，不匹配的远离
统一空间：将不同模态的特征映射到同一语义空间

相比 ConVIRT 和 ALIGN 等早期模型，CLIP 的优势在于：

使用了更大规模的数据集
采用了更高效的对比损失函数
设计了更鲁棒的预训练策略

import torch
import torch.nn as nn
from transformers import AutoModel, AutoTokenizer

class ImageEncoder(nn.Module):
    def __init__(self):
        super().__init__()
        self.model = torch.hub.load("pytorch/vision", "resnet50", pretrained=True)
        self.proj = nn.Linear(1000, 512)  # 投影到统一维度

    def forward(self, x):
        features = self.model(x)
        return self.proj(features)

class TextEncoder(nn.Module):
    def __init__(self):
        super().__init__()
        self.tokenizer = AutoTokenizer.from_pretrained("bert-base-uncased")
        self.model = AutoModel.from_pretrained("bert-base-uncased")
        self.proj = nn.Linear(768, 512)  # 投影到统一维度

    def forward(self, text):
        inputs = self.tokenizer(text, return_tensors="pt", padding=True)
        outputs = self.model(**inputs)
        return self.proj(outputs.last_hidden_state[:,0,:])

InfoNCE 损失函数公式：

$$
\mathcal{L} = -\log\frac{\exp(\text{sim}(q,k^+)/\tau)}{\sum_{i=1}^N \exp(\text{sim}(q,k_i)/\tau)}
$$

其中 $\tau$ 是温度系数，控制分布的尖锐程度。

def info_nce_loss(image_features, text_features, temperature=0.07):
    # 归一化特征向量
    image_features = F.normalize(image_features, dim=-1)
    text_features = F.normalize(text_features, dim=-1)

    # 计算相似度矩阵
    logits = torch.matmul(image_features, text_features.T) / temperature

    # 创建标签（对角线为正样本）batch_size = image_features.shape[0]
    labels = torch.arange(batch_size).to(logits.device)

    # 计算交叉熵损失
    loss = F.cross_entropy(logits, labels)
    return loss

分布式训练：使用多 GPU 并行计算，扩大 batch size
内存库(Memory Bank)：存储历史特征作为额外负样本
动量编码器：维护一个缓慢更新的编码器生成稳定特征

from torch.cuda.amp import GradScaler, autocast

scaler = GradScaler()

for epoch in range(epochs):
    for images, texts in dataloader:
        images = images.to(device)

        with autocast():
            image_features = image_encoder(images)
            text_features = text_encoder(texts)
            loss = info_nce_loss(image_features, text_features)

        # 反向传播
        scaler.scale(loss).backward()
        scaler.step(optimizer)
        scaler.update()
        optimizer.zero_grad()