深入解析CLIP中的对比学习：从理论到实践

1次阅读

共计 2008 个字符，预计需要花费 6 分钟才能阅读完成。

CLIP（Contrastive Language-Image Pretraining）是 OpenAI 提出的一种多模态模型，通过对比学习的方式将图像和文本映射到同一特征空间。它的核心思想是通过大量图像 - 文本对的对比训练，学习两者之间的语义关联。然而，在实际应用中，开发者常常面临以下问题：

模型收敛速度慢，训练周期长
负样本采样效率低，内存消耗大
跨模态检索精度不稳定

对比学习的关键在于对比损失函数（Contrastive Loss），它的数学表达式如下：

L = -log[exp(sim(q, k+)/τ) / Σ exp(sim(q, k)/τ)]

其中：
– q 是查询样本（query）
– k+ 是正样本（positive key）
– k 是包括正负样本的所有键（keys）
– τ 是温度系数，控制分布的尖锐程度

温度系数 τ 的选择至关重要：
– τ 值过小会导致梯度爆炸
– τ 值过大会使模型难以区分相似样本

传统方法需要存储所有负样本，这在大数据集上内存消耗巨大。CLIP 采用以下优化策略：

使用当前 batch 内的其他样本作为负样本（in-batch negatives）
采用动量编码器（momentum encoder）生成一致的负样本特征
实现跨设备负样本共享（cross-device negative sharing）

import torch
import torch.nn as nn

class ImageEncoder(nn.Module):
    def __init__(self, backbone='resnet50'):
        super().__init__()
        # 使用预训练 CNN 提取图像特征
        self.backbone = torch.hub.load('pytorch/vision', backbone, pretrained=True)
        self.projection = nn.Linear(2048, 512)  # 投影到共同特征空间

    def forward(self, x):
        features = self.backbone(x)
        return self.projection(features)

class TextEncoder(nn.Module):
    def __init__(self, vocab_size, embed_dim=512):
        super().__init__()
        self.embedding = nn.Embedding(vocab_size, embed_dim)
        self.transformer = nn.TransformerEncoderLayer(d_model=embed_dim, nhead=8)

    def forward(self, x):
        embedded = self.embedding(x)
        return self.transformer(embedded.mean(dim=1))

def contrastive_loss(logits, labels, temperature=0.07):
    """
    logits: [batch_size, batch_size*num_negatives] 相似度矩阵
    labels: [batch_size] 正样本索引
    """
    logits = logits / temperature
    log_probs = F.log_softmax(logits, dim=1)
    # 只计算正样本的对数概率
    loss = -log_probs[range(len(labels)), labels].mean()
    return loss