深入解析CLIP损失函数的表示方法：从理论到PyTorch实现

1次阅读

共计 1739 个字符，预计需要花费 5 分钟才能阅读完成。

CLIP（Contrastive Language-Image Pretraining）作为视觉 - 语言跨模态学习的里程碑模型，其核心创新在于通过对比学习建立图像和文本的联合嵌入空间。在这个框架中，损失函数承担着对齐两种模态表示的关键角色——它需要衡量图像和文本嵌入的相似性，同时推远不匹配的样本对。

CLIP 采用的对称对比损失函数可分解为以下两个部分：

图像到文本的对比项 ：
$$\mathcal{L}{i2t} = -\frac{1}{N}\sum$$}^N \log\frac{\exp(s_{i,i}/\tau)}{\sum_{j=1}^N \exp(s_{i,j}/\tau)
文本到图像的对比项 ：
$$\mathcal{L}{t2i} = -\frac{1}{N}\sum$$}^N \log\frac{\exp(s_{j,j}/\tau)}{\sum_{i=1}^N \exp(s_{j,i}/\tau)

其中 $s_{i,j}$ 表示第 i 个图像与第 j 个文本的余弦相似度，$\tau$ 为温度系数，N 是 batch size。最终损失为两项的平均值。

实现时的第一个关键点是正确处理 batch 维度。假设图像特征矩阵 $I \in \mathbb{R}^{N\times d}$ 和文本特征矩阵 $T \in \mathbb{R}^{N\times d}$，计算相似度矩阵需要：

对特征进行 L2 归一化：

I_norm = I / I.norm(dim=1, keepdim=True)
T_norm = T / T.norm(dim=1, keepdim=True)

矩阵乘法实现相似度计算：

sim_matrix = torch.matmul(I_norm, T_norm.T)  # 得到 N×N 矩阵

温度系数 $\tau$ 控制着 softmax 的尖锐程度：

值过小（<0.01）会导致梯度消失
值过大（>0.5）会使对比目标模糊
经验取值区间通常在 0.01 到 0.1 之间

实践中建议采用可学习温度参数：

self.logit_scale = nn.Parameter(torch.ones([]) * np.log(1/0.07))

def clip_loss(image_features, text_features, logit_scale):
    # 特征归一化
    image_features = image_features / image_features.norm(dim=1, keepdim=True)
    text_features = text_features / text_features.norm(dim=1, keepdim=True)

    # 计算相似度矩阵
    logits_per_image = logit_scale * image_features @ text_features.t()
    logits_per_text = logits_per_image.t()

    # 数值稳定的交叉熵计算
    labels = torch.arange(len(logits_per_image), device=image_features.device)
    loss_i = F.cross_entropy(logits_per_image, labels)
    loss_t = F.cross_entropy(logits_per_text, labels)
    return (loss_i + loss_t) / 2