深入解析CLIP对比损失函数：从理论到PyTorch实现

1次阅读

共计 2018 个字符，预计需要花费 6 分钟才能阅读完成。

在跨模态检索任务中，模态对齐 一直是核心挑战。例如当用户输入 ” 一只在草地上奔跑的金毛犬 ” 时，传统方法可能面临：

特征空间不一致：图像 CNN 提取的纹理特征与文本 BERT 生成的词向量处于不同分布空间
监督信号脆弱：L2 损失函数要求严格的特征值匹配，但 ” 狗 ” 和 ” 犬 ” 这类同义词在欧氏距离中反而会被惩罚
负样本利用不足：随机采样负样本时，模型容易学到简单判别特征（如背景颜色差异而非语义差异）

CLIP 采用的对比损失函数源自 InfoNCE（Noise Contrastive Estimation），其数学表达为：

$$
\mathcal{L} = -\frac{1}{N}\sum_{i=1}^N \log \frac{\exp(\text{sim}(v_i,t_i)/\tau)}{\sum_{j=1}^N \exp(\text{sim}(v_i,t_j)/\tau)}
$$

关键设计点：

温度系数 τ ：控制困难样本的权重（τ 越小对困难负样本关注度越高）
对称结构：同时计算 image-to-text 和 text-to-image 两个方向的损失
批内负采样：利用同一 batch 的其他样本自动构建负样本对

指标	InfoNCE	Triplet Loss
负样本利用率	批内全部样本	需手动构造三元组
收敛速度	更快（矩阵并行计算）	较慢（逐样本计算）
超参数敏感度	主要调节 τ	需设置 margin 值

import torch
import torch.nn as nn
import torch.nn.functional as F

class CLIPLoss(nn.Module):
    def __init__(self, temp=0.07, learnable_temp=False):
        super().__init__()
        if learnable_temp:
            self.logit_scale = nn.Parameter(torch.ones([]) * np.log(1/temp))
        else:
            self.logit_scale = 1.0 / temp

    def forward(self, image_features, text_features):
        # 特征归一化（关键步骤！）image_features = F.normalize(image_features, dim=-1)
        text_features = F.normalize(text_features, dim=-1)

        # 计算相似度矩阵
        logits_per_image = self.logit_scale * image_features @ text_features.t()
        logits_per_text = logits_per_image.t()

        # 构建标签（对角线为正样本）batch_size = image_features.shape[0]
        labels = torch.arange(batch_size, device=image_features.device)

        # 对称损失计算
        loss_i = F.cross_entropy(logits_per_image, labels)
        loss_t = F.cross_entropy(logits_per_text, labels)
        return (loss_i + loss_t) / 2

输入输出说明：

image_features: [batch_size, embed_dim] 经过视觉编码器的特征
text_features: [batch_size, embed_dim] 经过文本编码器的特征
输出标量即为对比损失值

图像侧：
保持 224×224 分辨率（与 CLIP 原始训练一致）
使用 RGB 均值 [0.48145466, 0.4578275, 0.40821073] 和标准差 [0.26862954, 0.26130258, 0.27577711] 进行归一化
文本侧：
建议截断到 77 个 token（BERT 类模型可适当延长）
对搜索场景添加 ”query: “ 等前缀提升区分度