深入解析CLIP损失函数：从原理到多模态对比学习实践

1次阅读

没有评论

共计 2461 个字符，预计需要花费 7 分钟才能阅读完成。

传统单模态模型（如纯 CV 或 NLP 模型）面临的核心问题是模态鸿沟——视觉特征和文本特征存在于不同的向量空间。例如：

ResNet 提取的图像特征和 BERT 生成的文本特征无法直接比较相似度
跨模态检索需要额外设计复杂的融合模块

对比学习通过 共享嵌入空间 解决了这个问题。CLIP 的创新点在于：

使用图像 - 文本对作为自然存在的正样本
同一个 batch 内的其他样本自动成为负样本
通过 InfoNCE 损失函数拉近正样本对距离，推开负样本对

但这里存在一个关键需求：高质量的负样本。如果 batch 内负样本太简单（如 ” 狗 ” 和 ” 汽车 ”），模型无法学到细粒度关联。这就是 temperature 参数存在的意义——控制对困难负样本的关注程度。

CLIP 使用的损失函数是 InfoNCE 的对称变体：

$$\mathcal{L}{i2t} = -\log\frac{\exp(s$$
$$\mathcal{L}}/\tau)}{\sum_{j=1}^N \exp(s_{ij}/\tau){t2i} = -\log\frac{\exp(s$$
$$\mathcal{L} = \frac{1}{2}(\mathcal{L}}/\tau)}{\sum_{j=1}^N \exp(s_{ji}/\tau){i2t} + \mathcal{L})$$

其中：
– $s_{ij}$ 是图像 $i$ 与文本 $j$ 的 cosine 相似度
– $\tau$ 是可学习的 temperature 参数
– $N$ 是 batch size

Temperature 的魔法：
– 当 $\tau \to 0$：模型只关注最困难的负样本
– 当 $\tau \to \infty$：所有样本获得同等权重
– 经验值通常在 0.01 到 0.1 之间

import torch
import torch.nn.functional as F

def clip_loss(image_features, text_features, temp=0.07, amp=True):
    """
    向量化实现的对称 CLIP 损失
    Args:
        image_features: 归一化后的图像特征 [N x dim]
        text_features: 归一化后的文本特征 [N x dim]
        temp: temperature 参数
        amp: 是否启用自动混合精度
    """
    # 特征归一化（关键步骤！）image_features = F.normalize(image_features, dim=-1)
    text_features = F.normalize(text_features, dim=-1)

    # 计算相似度矩阵（向量化操作）logits_per_image = image_features @ text_features.T  # [N x N]
    logits_per_text = logits_per_image.T  # 对称计算

    # 自动混合精度适配
    with torch.cuda.amp.autocast(enabled=amp):
        # 计算交叉熵损失
        labels = torch.arange(len(logits_per_image), device=image_features.device)
        loss_i = F.cross_entropy(logits_per_image/temp, labels)
        loss_t = F.cross_entropy(logits_per_text/temp, labels)
        loss = (loss_i + loss_t) / 2

    return loss

关键实现细节：
1. 特征归一化：保证 cosine 相似度在 [-1,1] 区间
2. 矩阵乘法代替循环：充分利用 GPU 并行能力
3. 对称计算：图像→文本和文本→图像两个方向

初始值建议 0.07（CLIP 论文默认）
如果模型收敛过快：尝试减小（如 0.03）
如果损失震荡：尝试增大（如 0.1）

# 梯度裁剪示例
optimizer.zero_grad()
loss.backward()
torch.nn.utils.clip_grad_norm_(model.parameters(), max_norm=1.0)
optimizer.step()

使用动量编码器生成更一致的负样本
引入跨 batch 的 memory bank

# 使用 logsumexp 替代原始计算
logits = logits_per_image / temp
log_probs = logits - logits.logsumexp(dim=-1, keepdim=True)
loss = -log_probs[range(N), range(N)].mean()

所有 GPU 需要同步计算相似度矩阵
使用 all_gather 收集各卡特征

# 计算 top- k 检索准确率
def topk_accuracy(logits, k=5):
    _, topk = logits.topk(k, dim=1)
    labels = torch.arange(len(logits), device=logits.device)
    return (topk == labels.unsqueeze(1)).any(dim=1).float().mean()