从零理解CLIP：对比学习原理与损失函数实现详解

1次阅读

共计 1371 个字符，预计需要花费 4 分钟才能阅读完成。

传统跨模态检索方法通常需要构建复杂的中间表示或依赖手工设计特征，面临两个核心问题：

表征鸿沟 ：图像和文本数据在原始特征空间分布差异巨大
监督信号依赖 ：需要大量标注数据对齐不同模态样本

对比学习通过数据驱动方式自动学习模态间映射关系，其核心优势在于：

端到端学习共享嵌入空间，避免手工设计特征
利用噪声对比估计原理，最大化正样本对相似度
隐式构建负样本对，无需显式标注所有负例

[图像输入] → ResNet/ViT 编码器 → 投影头 → 图像嵌入向量
[文本输入] → Transformer 编码器 → 投影头 → 文本嵌入向量

投影头结构：线性层 +LayerNorm+ReLU 激活
输出维度：通常 512 或 768 维

给定批量大小 N，损失函数计算过程：

计算相似度矩阵 S∈ℝ^(N×N)，其中 S_ij = (v_i^T t_j)/τ
图像到文本对比损失：
L_i2t = -1/N ∑{i=1}^N log[exp(S_ii)/∑^N exp(S_ij)]
文本到图像对比损失同理
总损失：L = (L_i2t + L_t2i)/2

温度系数 τ 的作用：

控制分布尖锐程度（τ 越小分布越 peaky）
经验取值区间：[0.01, 0.1]
需配合学习率共同调整

import torch
import torch.nn.functional as F

def clip_loss(image_features, text_features, temp=0.07):
    """
    Args:
        image_features: [N x D] tensor
        text_features: [N x D] tensor
        temp: temperature parameter
    """
    # 特征归一化
    image_features = F.normalize(image_features, dim=-1)
    text_features = F.normalize(text_features, dim=-1)

    # 计算相似度矩阵
    logits = image_features @ text_features.T  # [N x N]
    logits /= temp

    # 构建标签（对角线为正样本）labels = torch.arange(logits.shape[0], device=logits.device)

    # 对称损失计算
    loss_i2t = F.cross_entropy(logits, labels)
    loss_t2i = F.cross_entropy(logits.T, labels)
    return (loss_i2t + loss_t2i) / 2