深入解析CLIP模型损失函数：从理论到伪代码实现

1次阅读

共计 2053 个字符，预计需要花费 6 分钟才能阅读完成。

CLIP（Contrastive Language-Image Pretraining）是 OpenAI 提出的跨模态学习模型，其核心思想是通过对比学习实现图像和文本的联合表征。CLIP 的创新之处在于，它不再依赖传统的分类标签，而是利用自然语言作为监督信号，学习图像和文本之间的语义对齐。这种范式使得模型能够 zero-shot 迁移到下游任务，展现出强大的泛化能力。

CLIP 采用对称的对比损失函数（Symmetric Contrastive Loss），其数学形式如下：

对于一批包含 N 个图像 - 文本对的训练样本，计算图像到文本和文本到图像两个方向的相似度矩阵：

$$
\text{sim}(I_i, T_j) = \frac{I_i \cdot T_j}{\tau |I_i| |T_j|}
$$

其中 τ 是温度参数。然后计算两个方向的交叉熵损失：

$$
\mathcal{L}{i2t} = -\frac{1}{N}\sum
$$}^N \log\frac{\exp(\text{sim}(I_i, T_i)/\tau)}{\sum_{j=1}^N \exp(\text{sim}(I_i, T_j)/\tau)

$$
\mathcal{L}{t2i} = -\frac{1}{N}\sum
$$}^N \log\frac{\exp(\text{sim}(T_i, I_i)/\tau)}{\sum_{j=1}^N \exp(\text{sim}(T_i, I_j)/\tau)

最终损失为两者的平均值：

$$
\mathcal{L} = \frac{\mathcal{L}{i2t} + \mathcal{L}
$$}}{2

def clip_loss(image_features, text_features, temperature=0.07):
    """
    计算 CLIP 对比损失
    Args:
        image_features: 图像特征矩阵 [batch_size, feature_dim]
        text_features: 文本特征矩阵 [batch_size, feature_dim]
        temperature: 温度参数
    Returns:
        对比损失值
    """
    # 归一化特征向量
    image_features = F.normalize(image_features, dim=1)
    text_features = F.normalize(text_features, dim=1)

    # 计算相似度矩阵
    logits_per_image = image_features @ text_features.T / temperature
    logits_per_text = logits_per_image.T

    # 创建标签（对角线上的样本是匹配的）batch_size = image_features.shape[0]
    labels = torch.arange(batch_size, device=image_features.device)

    # 计算两个方向的交叉熵损失
    loss_i = F.cross_entropy(logits_per_image, labels)
    loss_t = F.cross_entropy(logits_per_text, labels)

    # 平均损失
    total_loss = (loss_i + loss_t) / 2
    return total_loss

温度参数选择：温度参数 τ 控制 softmax 的锐度。实验表明 τ =0.07 是较好的起点，但应根据具体数据调整。过大 τ 会导致相似度区分度不足，过小 τ 则可能使训练不稳定。
Batch Size 影响：CLIP 损失需要足够大的 batch size 才能提供有意义的负样本。实践中建议至少使用 512 的 batch size，更大的 batch size（如 4096）可以进一步提升性能。
特征归一化：在计算相似度前对特征进行 L2 归一化是必要的，这可以防止特征范数影响相似度计算。
学习率调度：由于对比学习需要大量负样本，建议使用 warmup 策略，缓慢提高学习率以避免早期训练不稳定。