深入解析CLIP对比损失函数公式：从理论到PyTorch实现

1次阅读

没有评论

共计 1607 个字符，预计需要花费 5 分钟才能阅读完成。

CLIP 模型通过对比学习实现图像和文本的跨模态对齐，但实际训练中常遇到以下问题：

负样本不足：当 batch_size 较小时，负样本数量有限，容易导致梯度消失。例如 batch_size=128 时，每个样本仅有 127 个负样本，难以形成有效的对比信号。
显存瓶颈：传统实现需要存储整个相似度矩阵，显存占用为 $$O(B^2)$$。当 B =2048 时，单精度浮点矩阵就占用 32MB，在多机训练时问题更突出。

CLIP 使用的对比损失是改进的 InfoNCE 形式：

$$\mathcal{L}{i→j} = -\log\frac{\exp(s$$}/τ)}{\sum_{k=1}^B \exp(s_{ik}/τ)

其中温度系数 τ 的作用机制：

当 $$τ→0$$ 时，损失退化为硬分类，梯度变得尖锐但容易过拟合
当 $$τ→∞$$ 时，所有样本权重趋同，梯度消失
最优 τ 值使得正负样本的梯度比为 1:10（经验值）

对称损失 $$\mathcal{L} = (\mathcal{L}{i→j} + \mathcal{L})/2$$ 的梯度：

$$\frac{\partial \mathcal{L}}{\partial s_{ij}} = \frac{1}{2τ}(p_{i→j} + p_{j→i} – 2)$$

而非对称版本的梯度包含更复杂的耦合项，实践中对称形式更稳定。

class CLIPLoss(nn.Module):
    def __init__(self, tau=0.07, amp=True):
        super().__init__()
        self.tau = tau
        self.amp = amp

    def forward(self, image_emb, text_emb):
        # 归一化嵌入向量
        image_emb = F.normalize(image_emb, dim=-1)  # [B,D]
        text_emb = F.normalize(text_emb, dim=-1)    # [B,D]

        # 使用混合精度计算相似度
        with torch.cuda.amp.autocast(enabled=self.amp):
            logits = image_emb @ text_emb.T  # [B,B]
            logits /= self.tau

            # 对称损失计算
            labels = torch.arange(len(logits), device=logits.device)
            loss_i = F.cross_entropy(logits, labels)
            loss_t = F.cross_entropy(logits.T, labels)
            return (loss_i + loss_t) / 2