CLIP损失函数详解：从原理到多模态模型实战

1次阅读

共计 2301 个字符，预计需要花费 6 分钟才能阅读完成。

CLIP（Contrastive Language-Image Pretraining）是 OpenAI 提出的一种多模态学习模型，它通过对比学习的方式将图像和文本映射到同一个语义空间。CLIP 的核心思想是让相关的图像和文本在嵌入空间中靠近，而不相关的则远离。这种对齐方式依赖于一个精心设计的损失函数——InfoNCE（Noise Contrastive Estimation）。

CLIP 模型由两个主要部分组成：

图像编码器：通常使用 ResNet 或 Vision Transformer（ViT）
文本编码器：通常使用 Transformer

这些编码器将图像和文本分别转换为固定维度的向量，然后通过对比损失函数来优化它们的相似性。

CLIP 使用的损失函数是对比学习中常见的 InfoNCE 损失，其数学表达式为：

$$
L_{i} = -\log\frac{\exp(\text{sim}(I_i, T_i)/\tau)}{\sum_{j=1}^N \exp(\text{sim}(I_i, T_j)/\tau)}
$$

其中：

$\text{sim}(I_i, T_i)$ 是图像 $I_i$ 和文本 $T_i$ 的余弦相似度
$\tau$ 是温度系数，控制分布的尖锐程度
$N$ 是 batch size

温度系数 $\tau$ 是一个关键参数：

当 $\tau$ 较小时，模型会更关注困难样本（相似度接近的样本对）
当 $\tau$ 较大时，模型对所有样本的关注更均衡

下面是一个完整的 PyTorch 实现，带有详细注释：

import torch
import torch.nn as nn
import torch.nn.functional as F

class CLIPLoss(nn.Module):
    """CLIP 对比损失函数的 PyTorch 实现"""
    def __init__(self, temperature=0.07):
        super().__init__()
        self.temperature = temperature
        self.logit_scale = nn.Parameter(torch.ones([]) * torch.log(torch.tensor(1/temperature)))

    def forward(self, image_features, text_features):
        """
        计算 CLIP 对比损失

        参数:
            image_features: 图像特征 [batch_size, embed_dim]
            text_features: 文本特征 [batch_size, embed_dim]

        返回:
            损失值
        """
        # 归一化特征
        image_features = F.normalize(image_features, dim=-1)
        text_features = F.normalize(text_features, dim=-1)

        # 计算相似度矩阵
        logit_scale = self.logit_scale.exp()
        logits_per_image = logit_scale * image_features @ text_features.t()
        logits_per_text = logits_per_image.t()

        # 创建标签（对角线为 1，其余为 0）batch_size = image_features.shape[0]
        labels = torch.arange(batch_size, dtype=torch.long, device=image_features.device)

        # 计算交叉熵损失
        loss_i = F.cross_entropy(logits_per_image, labels)
        loss_t = F.cross_entropy(logits_per_text, labels)
        loss = (loss_i + loss_t) / 2

        return loss

关键实现细节：