从零开始理解CLIP：基于对比学习损失的训练原理与实践

1次阅读

共计 2432 个字符，预计需要花费 7 分钟才能阅读完成。

CLIP（Contrastive Language-Image Pretraining）是 OpenAI 提出的一种多模态模型，能够将图像和文本映射到同一语义空间，实现跨模态检索。对比学习的优势在于它不需要人工标注的类别标签，而是利用图像 - 文本对的自然关联作为监督信号，这种自监督方式大大拓展了数据来源。

CLIP 的核心是图像编码器和文本编码器的协同训练：

图像编码器（通常是 ResNet 或 ViT）将图片转换为特征向量
文本编码器（通常是 Transformer）将句子转换为相同维度的特征向量
投影头（Projection Head）将两个模态的特征映射到可比对的空间

训练目标是通过对比损失，使匹配的图像 - 文本对特征相似度最大化，不匹配的对相似度最小化。

对比损失（InfoNCE）的计算可以分为四步：

计算批次内所有图像 - 文本对的相似度矩阵（余弦相似度）
对每张图片，其匹配文本应比所有其他文本更相似（类似分类问题）
对每个文本，其匹配图片应比所有其他图片更相似
用交叉熵损失函数同时优化这两个方向

数学表达式为：

loss = [交叉熵(相似度矩阵 / 温度系数, 真实标签)] / 2
      + [交叉熵(相似度矩阵.T/ 温度系数, 真实标签)] / 2

transform = transforms.Compose([transforms.Resize(224),
    transforms.ToTensor(),
    transforms.Normalize((0.5, 0.5, 0.5), (0.5, 0.5, 0.5))
])

dataset = MyDataset(image_dir, text_file, transform)  # 自定义数据集
dataloader = DataLoader(dataset, batch_size=64, shuffle=True)

class CLIP(nn.Module):
    def __init__(self):
        super().__init__()
        self.image_encoder = resnet50(pretrained=True)
        self.text_encoder = TransformerEncoder()  # 简化表示
        self.image_proj = nn.Linear(2048, 256)
        self.text_proj = nn.Linear(512, 256)

    def forward(self, images, texts):
        image_feats = F.normalize(self.image_proj(self.image_encoder(images)))
        text_feats = F.normalize(self.text_proj(self.text_encoder(texts)))
        return image_feats, text_feats

def contrastive_loss(image_feats, text_feats, temperature=0.07):
    logits = image_feats @ text_feats.T / temperature
    labels = torch.arange(len(logits)).to(device)
    loss_i = F.cross_entropy(logits, labels)
    loss_t = F.cross_entropy(logits.T, labels)
    return (loss_i + loss_t) / 2

model = CLIP().to(device)
optimizer = torch.optim.AdamW(model.parameters(), lr=5e-5)

for epoch in range(10):
    for images, texts in dataloader:
        images, texts = images.to(device), texts.to(device)
        optimizer.zero_grad()

        image_feats, text_feats = model(images, texts)
        loss = contrastive_loss(image_feats, text_feats)

        loss.backward()
        optimizer.step()

温度系数 (temperature) 是最关键的参数：

值过大：所有相似度趋同，模型无法学习
值过小：梯度爆炸，训练不稳定
建议初始值 0.07，根据验证集调整

其他重要参数：

批量大小：越大越好（对比学习依赖负样本数量）
学习率：通常 3e- 5 到 5e-5
投影维度：256-512 之间

损失不下降：检查数据是否清洗干净，增大多模态负样本数量
梯度爆炸：降低温度系数，或使用梯度裁剪
显存不足：减小批量大小或使用梯度累积
过拟合：增加数据增强，或提前停止训练
模态不平衡：检查图像和文本特征的均值 / 方差是否匹配

混合精度训练：

scaler = torch.cuda.amp.GradScaler()
with torch.cuda.amp.autocast():
    image_feats, text_feats = model(images, texts)
    loss = contrastive_loss(image_feats, text_feats)
scaler.scale(loss).backward()
scaler.step(optimizer)
scaler.update()