CLIP对比学习训练原理详解与实战避坑指南

1次阅读

没有评论

共计 2212 个字符，预计需要花费 6 分钟才能阅读完成。

CLIP（Contrastive Language-Image Pretraining）的核心思想是通过对比学习，让匹配的图像 - 文本对在嵌入空间中靠近，不匹配的对远离。这背后的数学原理可以用 InfoNCE 损失函数来描述：

$$\mathcal{L} = -\frac{1}{N}\sum_{i=1}^{N}\log\frac{\exp(s_{ii}/\tau)}{\sum_{j=1}^{N}\exp(s_{ij}/\tau)}$$

其中 $s_{ij}$ 是图像 $i$ 和文本 $j$ 的相似度得分，$\tau$ 是温度系数。这个损失函数鼓励对角线元素（正样本对）的相似度高于非对角线元素（负样本对）。

在联合训练图像和文本编码器时，梯度传播有以下特点：

图像编码器的梯度主要来自图像 - 文本相似度矩阵的列方向
文本编码器的梯度主要来自行方向
两个编码器的梯度在 batch 内样本间会自动建立关联

这种特性使得模型能够学习到跨模态的通用表示，但也可能导致训练不稳定的情况。

实践中常用的两种相似度计算方式：

点积相似度：$s_{ij} = x_i^T y_j$
余弦相似度：$s_{ij} = \frac{x_i^T y_j}{|x_i||y_j|}$

点积计算更快（省去了归一化步骤），但对嵌入的尺度敏感；余弦相似度更稳定但计算量稍大。在大规模训练中，点积通常是更好的选择。

import torch
import torch.nn as nn
import torch.nn.functional as F
from torch.utils.data import Dataset

# 自定义多模态 Dataset
class MultiModalDataset(Dataset):
    def __init__(self, image_paths, texts):
        # 使用 memmap 避免 OOM
        self.images = np.memmap(image_paths, dtype='float32', mode='r')
        self.texts = texts

    def __len__(self):
        return len(self.texts)

    def __getitem__(self, idx):
        return self.images[idx], self.texts[idx]

# 混合精度训练
scaler = torch.cuda.amp.GradScaler()

for epoch in range(epochs):
    for images, texts in dataloader:
        images, texts = images.cuda(), texts.cuda()

        with torch.cuda.amp.autocast():
            image_features = image_encoder(images)
            text_features = text_encoder(texts)

            # 分布式训练同步
            if dist.is_initialized():
                image_features = torch.cat(dist.all_gather(image_features))
                text_features = torch.cat(dist.all_gather(text_features))

            logits = image_features @ text_features.T
            labels = torch.arange(len(logits)).cuda()
            loss = F.cross_entropy(logits, labels)

        # 梯度裁剪
        scaler.scale(loss).backward()
        scaler.unscale_(optimizer)
        torch.nn.utils.clip_grad_norm_(model.parameters(), 1.0)
        scaler.step(optimizer)
        scaler.update()

现象：所有样本的嵌入都收敛到同一个点
监控指标 ：嵌入空间的平均余弦相似度接近 1
解决方案 ：
– 增大温度系数 $\tau$
– 增加更多负样本
– 使用更深的投影头

现象：损失值剧烈波动
监控指标 ：梯度范数
解决方案 ：
– 使用梯度裁剪
– 调小学习率
– 增加 warmup 步骤

现象：OOM 错误
监控指标 ：GPU 显存使用量
解决方案 ：
– 使用混合精度训练
– 减小 batch size
– 使用梯度累积