对比学习入门指南：从零实现CLIP论文中的核心算法

1次阅读

共计 2616 个字符，预计需要花费 7 分钟才能阅读完成。

CLIP（Contrastive Language-Image Pretraining）论文提出的对比学习机制，核心要解决的是图像和文本两种不同模态数据的对齐问题。想象一下，当你在搜索引擎输入 ” 一只坐在草地上的金毛犬 ” 时，系统如何从海量图片中找到最匹配的结果？传统方法需要先对图片打标签再用文本搜索标签，而 CLIP 通过对比学习直接建立图文特征空间的映射关系。

这种跨模态对齐的难点在于：

图像以像素矩阵形式存在，文本是离散符号序列，二者原始特征空间完全不同
语义关联存在多义性（比如 ” 苹果 ” 对应水果或手机品牌）
标注数据有限时难以学习细粒度对应关系

对比学习不是唯一解决跨模态对齐的方法，我们先看看其他方案的局限性：

孪生网络 (Siamese Network)
优点：结构简单，适合相似度计算
缺点：需要正负样本严格配对，难以处理多模态情况
三元组损失 (Triplet Loss)
优点：通过锚点 / 正例 / 负例的对比可以学习相对距离
缺点：样本组合爆炸，训练效率低
CLIP 采用的对比损失 (InfoNCE)
优势点：
- 批量处理样本对（N×N 相似度矩阵）
- 温度系数控制困难样本的权重
- 天然适配多模态场景

graph LR
    A[图像输入] --> B[ViT 编码器]
    C[文本输入] --> D[Transformer 编码器]
    B --> E[图像特征向量]
    D --> F[文本特征向量]
    E --> G[相似度计算]
    F --> G

给定 batch 内图像特征 $I\in\mathbb{R}^{N\times d}$ 和文本特征 $T\in\mathbb{R}^{N\times d}$，相似度矩阵 $S\in\mathbb{R}^{N\times N}$ 的计算采用向量化实现：

$$ S_{i,j} = \frac{I_i \cdot T_j}{|I_i||T_j|} \cdot \exp(\tau) $$

其中 $\tau$ 是温度系数，控制分布尖锐程度。

当 $\tau\to 0$：
相似度分布趋于 one-hot
容易导致训练不稳定
当 $\tau\to\infty$：
相似度分布趋于均匀
失去对比效果

经验值通常在 0.01 到 0.5 之间。

import torch
import torch.nn.functional as F

def info_nce_loss(image_emb, text_emb, temp=0.1):
    """
    计算对比损失
    Args:
        image_emb: 图像特征 [N,d]
        text_emb: 文本特征 [N,d]
        temp: 温度系数
    """
    # 归一化特征向量
    image_emb = F.normalize(image_emb, dim=1)
    text_emb = F.normalize(text_emb, dim=1)

    # 计算相似度矩阵
    logits = torch.matmul(image_emb, text_emb.t()) / temp

    # 构建标签（对角线为正样本）labels = torch.arange(logits.size(0)).to(logits.device)

    # 对称式计算损失
    loss_i = F.cross_entropy(logits, labels)
    loss_t = F.cross_entropy(logits.t(), labels)
    return (loss_i + loss_t) / 2

class MemoryBank:
    def __init__(self, dim, size=65536):
        self.bank = torch.randn(size, dim)
        self.ptr = 0

    def update(self, features):
        """更新特征队列"""
        batch_size = features.size(0)
        end = self.ptr + batch_size

        # 环形缓冲区处理
        if end > len(self.bank):
            overflow = end - len(self.bank)
            self.bank[self.ptr:] = features[:-overflow]
            self.bank[:overflow] = features[-overflow:]
            self.ptr = overflow
        else:
            self.bank[self.ptr:end] = features
            self.ptr = end % len(self.bank)

    def get_negatives(self, query, k=1024):
        """随机采样负样本"""
        idx = torch.randint(0, len(self.bank), (k,))
        return self.bank[idx]

计算 softmax 时使用 logsumexp 稳定实现：

# 常规实现（数值不稳定）logits.exp().sum(dim=1).log()

# 稳定实现
logits.logsumexp(dim=1)

对相似度计算启用 fp32 精度：

with torch.cuda.amp.autocast(enabled=True):
    # 特征编码用 fp16
    image_emb = model.encode_image(image)
    text_emb = model.encode_text(text)

    # 相似度计算强制 fp32
    with torch.cuda.amp.autocast(enabled=False):
        logits = image_emb.float() @ text_emb.float().t()

对温度系数 $\tau$ 添加下限保护：
```
temp = torch.clamp(temp, min=1e-4)
```

温度系数实验设计 ：
固定 batch size，扫描不同 $\tau$ 值下的验证集准确率
观察 $\tau$ 与有效负样本数量的关系（可通过梯度分析）
跨语言应用可能 ：
将文本编码器替换为多语言 BERT
构建多语言 - 图像对数据集
验证 zero-shot 跨语言检索能力

实现 CLIP 的对比学习算法时，核心在于理解三个关键点：1）双编码器的特征空间对齐；2）温度系数对困难样本的调节作用；3）大规模负样本的有效利用。建议初学者先用小规模数据集（如 Flickr8k）验证流程，再扩展到更大规模训练。完整实现代码已放在 Colab：https://colab.research.google.com/drive/1_示例链接（请替换为实际链接）

正文完