CLIP损失函数详解：从原理到实践的多模态学习指南

1次阅读

没有评论

共计 1902 个字符，预计需要花费 5 分钟才能阅读完成。

在跨模态学习任务中，如何让不同模态的数据（如图像和文本）在同一个向量空间中实现语义对齐，一直是一个核心挑战。传统方法如余弦相似度直接计算不同模态间的相似度，往往难以捕捉复杂的语义关联。

传统方法的局限：
仅考虑两两样本间的相似度，忽略了全局分布
对噪声敏感，容易陷入局部最优
难以处理模态间的非线性关系

CLIP 采用对比损失(Contrastive Loss)，其核心思想是通过拉近正样本对、推开负样本对来实现跨模态对齐。数学表达式为：

$$
L = -\frac{1}{N}\sum_{i=1}^N \log\frac{\exp(s_{i,i}/\tau)}{\sum_{j=1}^N \exp(s_{i,j}/\tau)}
$$

其中：
– $s_{i,j}$ 表示第 i 个图像和第 j 个文本的相似度得分
– $\tau$ 是温度系数，控制分布的尖锐程度

损失函数	优点	缺点
Contrastive Loss	全局优化，收敛快	需要大 batch size
Triplet Loss	样本利用率高	收敛慢
NCE Loss	计算高效	需要负采样策略

CLIP 创新性地使用了对称式损失：

$$
L = \frac{1}{2}(L_{image\rightarrow text} + L_{text\rightarrow image})
$$

这种设计确保了两种模态在嵌入空间中的平等地位，避免了单向优化的偏差。

以下是 PyTorch 实现的 CLIP 损失函数：

import torch
import torch.nn as nn
import torch.nn.functional as F

class CLIPLoss(nn.Module):
    def __init__(self, temp=0.07):
        super().__init__()
        # 将温度系数设为可学习参数
        self.logit_scale = nn.Parameter(torch.ones([]) * temp)

    def forward(self, image_features, text_features):
        # 归一化特征
        image_features = F.normalize(image_features, dim=-1)
        text_features = F.normalize(text_features, dim=-1)

        # 计算相似度矩阵
        logits_per_image = image_features @ text_features.t() * self.logit_scale.exp()
        logits_per_text = logits_per_image.t()

        # 生成标签
        batch_size = image_features.shape[0]
        labels = torch.arange(batch_size, device=image_features.device)

        # 计算交叉熵损失
        loss_i = F.cross_entropy(logits_per_image, labels)
        loss_t = F.cross_entropy(logits_per_text, labels)
        loss = (loss_i + loss_t) / 2

        return loss

关键点说明：