CLIP模型对比学习实战：从零构建跨模态理解系统

1次阅读

没有评论

共计 3010 个字符，预计需要花费 8 分钟才能阅读完成。

1. 背景痛点：为什么需要 CLIP？
2. 技术对比：CLIP 的创新点在哪里？
3. 核心实现：动手搭建 CLIP 模型
4. 性能优化：让训练更高效
5. 避坑指南：实战中的经验分享
6. 延伸思考：CLIP 的更多可能性

跨模态检索一直是个难题。比如，你想用一段文字搜索相关的图片，或者用一张图片找到描述它的文字。传统方法通常是分开处理图像和文本：

CNN+LSTM 方案：用 CNN 提取图像特征，用 LSTM 处理文本，最后强行对齐两个特征空间。问题在于：
图像和文本的特征空间不一致，导致语义鸿沟
需要大量标注数据（特定图片配特定文字）
难以处理未见过的类别

而 CLIP 通过对比学习直接拉近匹配的图文对距离，推开不匹配的对，完美解决了这些问题。

对比同期模型，CLIP 的独特之处在于：

模型	图像编码器	文本编码器	训练目标
ConVIRT	ResNet	Transformer	单模态对比
ALIGN	EfficientNet	BERT	跨模态对比
CLIP	ViT/ResNet	Transformer	大规模跨模态对比

关键数学原理——InfoNCE 损失函数：

$$
\mathcal{L} = -\log\frac{\exp(s_{i,j}/\tau)}{\sum_{k=1}^N \exp(s_{i,k}/\tau)}
$$

其中：
– $s_{i,j}$ 是图像 $i$ 和文本 $j$ 的 cosine 相似度
– $\tau$ 是温度系数（通常设为 0.07）
– $N$ 是 batch size

import torch
import torchvision.models as models

class ImageEncoder(nn.Module):
    def __init__(self, embed_dim=512):
        super().__init__()
        self.model = models.resnet50(pretrained=True)
        self.model.fc = nn.Linear(2048, embed_dim)  # [batch, 2048] -> [batch, 512]

    def forward(self, x):
        # x: [batch, 3, 224, 224]
        return F.normalize(self.model(x), dim=-1)

from transformers import AutoTokenizer, AutoModel

class TextEncoder(nn.Module):
    def __init__(self, model_name='bert-base-uncased', embed_dim=512):
        super().__init__()
        self.tokenizer = AutoTokenizer.from_pretrained(model_name)
        self.model = AutoModel.from_pretrained(model_name)
        self.proj = nn.Linear(768, embed_dim)  # BERT 默认输出 768 维

    def forward(self, text):
        # 输入文本自动截断到 77token（CLIP 标准）inputs = self.tokenizer(text, return_tensors='pt', padding=True, 
                               truncation=True, max_length=77)
        outputs = self.model(**inputs)
        return F.normalize(self.proj(outputs.last_hidden_state[:, 0]), dim=-1)

def compute_similarity(image_emb, text_emb, tau=0.07):
    # image_emb: [batch, 512]
    # text_emb: [batch, 512]
    logits = (image_emb @ text_emb.T) * torch.exp(torch.tensor(tau))
    return logits

使用 DistributedDataParallel 而非DataParallel

确保每个 GPU 看到不同的数据切片：

train_sampler = torch.utils.data.distributed.DistributedSampler(dataset)
loader = DataLoader(dataset, batch_size=64, sampler=train_sampler)

scaler = torch.cuda.amp.GradScaler()

with torch.cuda.amp.autocast():
    image_features = image_encoder(images)
    text_features = text_encoder(texts)
    loss = contrastive_loss(image_features, text_features)

scaler.scale(loss).backward()
scaler.step(optimizer)
scaler.update()

from sklearn.manifold import TSNE

# 提取 1000 个样本的特征
features = torch.cat([image_features, text_features], dim=0)
tsne = TSNE(n_components=2).fit_transform(features.cpu())

# 绘制时用不同颜色标记图像 / 文本特征
plt.scatter(tsne[:1000,0], tsne[:1000,1], c='r', label='Image')
plt.scatter(tsne[1000:,0], tsne[1000:,1], c='b', label='Text')

CLIP 默认使用 77 个 token 上限
解决方案：
优先截断无关紧要的介词
对长文本提取关键句

# 统一缩放到 224x224，保持长宽比
from torchvision.transforms import Compose, Resize, CenterCrop

transform = Compose([Resize(224, interpolation=Image.BICUBIC),
    CenterCrop(224),
    lambda x: np.array(x) / 255.0
])