从零开始理解CLIP：基于对比学习损失的训练原理与实践

1次阅读

共计 3336 个字符，预计需要花费 9 分钟才能阅读完成。

CLIP（Contrastive Language-Image Pretraining）是 OpenAI 提出的一种多模态模型，能够将图像和文本映射到同一个语义空间。它的核心思想是通过对比学习，让相似的图像和文本在嵌入空间中靠近，不相似的远离。这种训练方式在图像分类、图像检索、跨模态生成等任务中表现出色。

对比学习的优势在于，它不需要人工标注的类别标签，而是利用图像和文本的自然配对关系进行自监督学习。这种方式不仅减少了标注成本，还能让模型学到更通用的特征表示。

CLIP 模型由两个主要组件构成：图像编码器和文本编码器。图像编码器通常是卷积神经网络（CNN）或视觉 Transformer（ViT），文本编码器则是 Transformer 架构。两个编码器分别将图像和文本转换为固定维度的向量。

图像编码器 ：将输入图像转换为一个高维向量，通常是 2048 或 512 维。
文本编码器 ：将输入文本（如句子或短语）转换为相同维度的向量。
投影头 ：在编码器之后，通常会添加一个小型的全连接层（称为投影头），将编码器的输出映射到一个更低维的空间（如 256 维），便于计算相似度。

训练过程中，模型的目标是最大化匹配的图像 - 文本对的相似度，同时最小化不匹配对的相似度。

CLIP 使用的是 InfoNCE（Noise Contrastive Estimation）损失函数，它是一种对比损失函数。具体来说，对于一个 batch 中的 N 个图像 - 文本对，计算以下损失：

相似度矩阵 ：计算所有图像和文本嵌入之间的余弦相似度，得到一个 N×N 的矩阵。
温度系数 ：用一个可学习的温度系数 τ 缩放相似度，控制分布的尖锐程度。
交叉熵损失 ：对每一行和每一列计算交叉熵损失，目标是让对角线上的相似度最高。

数学上，损失函数可以表示为：

[\mathcal{L} = -\frac{1}{2N} \sum_{i=1}^N \left[\log \frac{e^{s_{ii}/\tau}}{\sum_{j=1}^N e^{s_{ij}/\tau}} + \log \frac{e^{s_{ii}/\tau}}{\sum_{j=1}^N e^{s_{ji}/\tau}} \right] ]

其中，(s_{ij}) 是第 i 个图像和第 j 个文本的相似度，τ 是温度系数。

以下是 PyTorch 实现的完整代码：

import torch
import torch.nn as nn
import torch.nn.functional as F
from torchvision.models import resnet50
from transformers import BertModel, BertTokenizer

# 定义图像编码器
class ImageEncoder(nn.Module):
    def __init__(self, embed_dim=256):
        super().__init__()
        self.backbone = resnet50(pretrained=True)
        self.projection = nn.Linear(2048, embed_dim)

    def forward(self, x):
        x = self.backbone(x)
        x = self.projection(x)
        return F.normalize(x, dim=-1)

# 定义文本编码器
class TextEncoder(nn.Module):
    def __init__(self, embed_dim=256):
        super().__init__()
        self.backbone = BertModel.from_pretrained('bert-base-uncased')
        self.projection = nn.Linear(768, embed_dim)

    def forward(self, input_ids, attention_mask):
        x = self.backbone(input_ids=input_ids, attention_mask=attention_mask).last_hidden_state[:, 0, :]
        x = self.projection(x)
        return F.normalize(x, dim=-1)

# 定义对比损失函数
class ContrastiveLoss(nn.Module):
    def __init__(self, temperature=0.07):
        super().__init__()
        self.temperature = temperature
        self.cross_entropy = nn.CrossEntropyLoss()

    def forward(self, image_embeds, text_embeds):
        # 计算相似度矩阵
        logits = torch.matmul(image_embeds, text_embeds.t()) / self.temperature
        labels = torch.arange(logits.size(0), device=logits.device)

        # 计算图像到文本和文本到图像的损失
        loss_i2t = self.cross_entropy(logits, labels)
        loss_t2i = self.cross_entropy(logits.t(), labels)
        return (loss_i2t + loss_t2i) / 2

# 训练循环
def train_one_epoch(model, dataloader, optimizer, device):
    model.train()
    total_loss = 0

    for images, texts in dataloader:
        images = images.to(device)
        input_ids = texts['input_ids'].to(device)
        attention_mask = texts['attention_mask'].to(device)

        # 前向传播
        image_embeds = model.image_encoder(images)
        text_embeds = model.text_encoder(input_ids, attention_mask)
        loss = model.loss_fn(image_embeds, text_embeds)

        # 反向传播
        optimizer.zero_grad()
        loss.backward()
        optimizer.step()

        total_loss += loss.item()

    return total_loss / len(dataloader)

温度系数 τ 是 CLIP 训练中最重要的超参数之一。它控制着相似度分布的尖锐程度：

τ 值过大 ：相似度分布过于平坦，模型难以区分正负样本。
τ 值过小 ：相似度分布过于尖锐，可能导致训练不稳定。

通常，τ 的初始值可以设为 0.07，然后根据验证集性能进行调整。如果模型收敛过快但泛化性能差，可以尝试增大 τ；如果模型难以收敛，可以尝试减小 τ。

Batch Size 过小 ：对比学习需要足够大的 batch size（至少 128）才能提供足够的负样本。如果 batch size 太小，模型可能会过拟合。
未归一化嵌入 ：计算余弦相似度前，必须对嵌入向量进行 L2 归一化，否则相似度计算会受向量长度影响。
温度系数固定 ：温度系数是可学习的参数，但初始值设置不当可能导致训练失败。建议从 0.07 开始，逐步调整。
数据不平衡 ：如果图像 - 文本对的质量差异大，模型可能会偏向于某些模式。可以通过数据增强或重采样缓解。