深入解析CLIP的基于对比学习损失的训练机制

1次阅读

没有评论

共计 1859 个字符，预计需要花费 5 分钟才能阅读完成。

跨模态学习中最核心的挑战在于不同模态间的特征空间天然存在差异。以最常见的文本 - 图像对为例：

语义鸿沟问题 ：图像包含像素级的局部特征，而文本是离散的符号化表示。比如狗的照片和 ” 狗 ” 这个词在原始特征空间相距甚远
模态不平衡 ：ImageNet 等视觉数据集的类别数量（1k）远小于文本词汇量（通常 50k+），导致特征尺度不匹配
负样本陷阱 ：随机采样的负样本可能包含语义相关对（如 ” 犬 ” 和狗图片），这会削弱对比学习效果

常见对比损失函数各有适用场景：

NT-Xent（Normalized Temperature-scaled Cross Entropy）：
公式：$L = -\log\frac{\exp(s_{i,j}/\tau)}{\sum_{k=1}^N \exp(s_{i,k}/\tau)}$
适合大批量场景，要求 batch 内包含足够多负样本
Triplet Loss：
公式：$L = \max(0, d(a,p) – d(a,n) + \alpha)$
需要精心设计三元组采样策略，计算复杂度高
CLIP 采用的对称交叉熵 ：
同时计算图像→文本和文本→图像两个方向的损失
公式：$L = \frac{1}{2}(L_{image→text} + L_{text→image})$

CLIP 的损失函数本质是双向 InfoNCE：

计算相似度矩阵 $S \in \mathbb{R}^{N×N}$，其中 $S_{i,j} = v_i^T t_j / \tau$
对矩阵行列分别计算 softmax 得到预测分布
最小化预测分布与对角线分布的 KL 散度

import torch
import torch.nn.functional as F

def clip_loss(image_features, text_features, temp=0.07):
    # 特征归一化
    image_features = F.normalize(image_features, dim=-1)
    text_features = F.normalize(text_features, dim=-1)

    # 计算相似度矩阵（利用矩阵乘法并行化）logits = image_features @ text_features.T  # [N,N]
    logits /= temp

    # 计算对称损失
    labels = torch.arange(logits.shape[0], device=image_features.device)
    loss_i = F.cross_entropy(logits, labels)
    loss_t = F.cross_entropy(logits.T, labels)
    return (loss_i + loss_t)/2

使用 t -SNE 降维后可以观察到：

训练初期：文本和图像特征呈完全分离状态
1000 步后：同类样本开始聚集
收敛时：跨模态同类样本距离小于异类样本

当 batch_size 较大时（如 4096）：

梯度检查点 ：

from torch.utils.checkpoint import checkpoint

def forward_fn(image, text):
    return model(image, text)

loss = checkpoint(forward_fn, image, text)

分块计算 ：

chunk_size = 512
logits = torch.cat([image_features[i:i+chunk_size] @ text_features.T 
    for i in range(0, N, chunk_size)
])

关键配置项：

scaler = torch.cuda.amp.GradScaler()

with torch.cuda.amp.autocast():
    loss = model(image, text)
scaler.scale(loss).backward()
scaler.step(optimizer)
scaler.update()

需特别注意：