对比学习入门指南：从零实现CLIP论文中的核心算法

1次阅读

共计 2072 个字符，预计需要花费 6 分钟才能阅读完成。

CLIP 论文提出的对比学习机制，主要解决图文跨模态对齐的难题。传统方法通常需要大量标注数据来建立图像和文本之间的联系，而对比学习通过自监督方式，让模型自动学习两种模态的共享特征空间。具体来说，给定一批图像 - 文本对，正样本是匹配的图文对，负样本是非匹配的组合，模型需要拉近正样本距离，推远负样本距离。

在对比学习之前，常见的跨模态学习方法包括：

孪生网络：两个共享权重的网络分别处理不同模态，但无法有效处理大量负样本
三元组损失：需要精心设计三元组采样策略，计算复杂度随样本量增长较快

对比学习的优势在于：

可以同时利用大量负样本
通过温度系数控制样本难度
向量化实现效率高

CLIP 采用双编码器结构：

图像编码器：基于 Vision Transformer(ViT)
文本编码器：基于 Transformer

两个编码器输出的特征向量会归一化到单位球面上，方便计算余弦相似度。

给定 batch 内的图像特征 $I$ 和文本特征 $T$，相似度矩阵 $S$ 计算为：

$$ S_{i,j} = \frac{I_i \cdot T_j}{\tau} $$

其中 $\tau$ 是温度系数，控制样本对的难易程度。

InfoNCE 损失函数实现如下：

def info_nce_loss(image_features, text_features, tau=0.07):
    """
    计算对比学习损失
    Args:
        image_features: 图像特征 [batch_size, dim]
        text_features: 文本特征 [batch_size, dim]
        tau: 温度系数
    """
    # 归一化特征
    image_features = F.normalize(image_features, dim=1)
    text_features = F.normalize(text_features, dim=1)

    # 计算相似度矩阵
    logits = torch.matmul(image_features, text_features.T) / tau

    # 构建标签(对角线为正样本)
    batch_size = image_features.shape[0]
    labels = torch.arange(batch_size, device=image_features.device)

    # 计算交叉熵损失
    loss_i = F.cross_entropy(logits, labels)
    loss_t = F.cross_entropy(logits.T, labels)
    return (loss_i + loss_t) / 2

为增加负样本数量，可以使用 memory bank 技术：

class MemoryBank:
    def __init__(self, size=65536, dim=512):
        self.size = size
        self.memory = torch.randn(size, dim)
        self.ptr = 0

    def update(self, features):
        """更新记忆库"""
        batch_size = features.size(0)
        end = self.ptr + batch_size
        if end <= self.size:
            self.memory[self.ptr:end] = features
        else:
            split = self.size - self.ptr
            self.memory[self.ptr:] = features[:split]
            self.memory[:batch_size-split] = features[split:]
        self.ptr = end % self.size

梯度爆炸问题：

计算 logsumexp 时使用稳定实现：

logits_max, _ = torch.max(logits, dim=1, keepdim=True)
log_sum_exp = torch.log(torch.sum(torch.exp(logits - logits_max), dim=1)) + logits_max.squeeze()