从原理到实践：深入解析CLIP的对比学习机制与损失函数设计

1次阅读

没有评论

共计 1805 个字符，预计需要花费 5 分钟才能阅读完成。

CLIP（Contrastive Language-Image Pretraining）是 OpenAI 提出的跨模态预训练模型，通过对比学习将图像和文本映射到共享的语义空间。其核心价值在于：

实现图像与文本的零样本（zero-shot）分类能力
打破传统视觉模型固定类别数的限制
支持开放式视觉概念理解

典型的应用场景包括：

图像搜索引擎的语义检索
多模态内容审核系统
辅助创作工具中的图文匹配

对比学习的核心思想是通过拉近正样本对、推开负样本对的方式学习表征。在 CLIP 中：

正样本 ：同一个 batch 内的图文配对（N 个合法图文对）
负样本 ：同一个 batch 内非配对的图文组合（N²- N 个负样本）

使用超大 batch size（可达 32,768）获取充足负样本
对称式对比学习（image-to-text 和 text-to-image 双向计算）
共享温度参数调节分布集中程度

CLIP 采用的 InfoNCE 损失函数公式为：

$$
L_i = -\log\frac{\exp(s_{i,i}/\tau)}{\sum_{j=1}^N \exp(s_{i,j}/\tau)}
$$

其中：

$s_{i,j}$：第 i 个图像与第 j 个文本的余弦相似度
$\tau$：温度超参数（CLIP 中学习得到）
N：batch size

分子部分最大化匹配图文对的相似度
分母部分最小化所有不匹配组合的相似度
温度参数控制概率分布的尖锐程度

def contrastive_loss(logits_per_image, logits_per_text):
    """对称式对比损失计算"""
    # 获取 batch size
    batch_size = logits_per_image.shape[0]

    # 创建标签（对角线为 1 的矩阵）labels = torch.arange(batch_size, device=device)

    # 计算图像到文本和文本到图像两个方向的损失
    loss_i = F.cross_entropy(logits_per_image, labels)
    loss_t = F.cross_entropy(logits_per_text, labels)

    # 取平均作为最终损失
    return (loss_i + loss_t) / 2

# 实际计算过程示例
image_features = model.encode_image(images)  # [N, d_model]
text_features = model.encode_text(texts)     # [N, d_model]

# 归一化特征向量
image_features = image_features / image_features.norm(dim=1, keepdim=True)
text_features = text_features / text_features.norm(dim=1, keepdim=True)

# 计算相似度矩阵
logits_per_image = image_features @ text_features.t()  # [N, N]
logits_per_text = logits_per_image.t()                 # [N, N]

# 计算对比损失
loss = contrastive_loss(logits_per_image, logits_per_text)