CLIP对比损失函数入门指南：从理论到PyTorch实现

1次阅读

没有评论

共计 2932 个字符，预计需要花费 8 分钟才能阅读完成。

在传统的分类任务中，我们通常使用交叉熵损失函数。它的数学形式是：

$$\mathcal{L}{CE} = -\sum^N y_i \log(p_i)$$

其中 $y_i$ 是真实标签，$p_i$ 是预测概率。这种损失函数在单模态任务中表现很好，但在跨模态（比如图像和文本）对齐任务中就显得力不从心了。

对比损失函数的提出就是为了解决这个问题。它的核心思想是：让正样本对（匹配的图像和文本）的特征向量在嵌入空间中尽可能接近，而负样本对的特征向量尽可能远离。

CLIP 模型使用的是 InfoNCE（Noise Contrastive Estimation）损失函数，其数学表达式为：

$$\mathcal{L}{InfoNCE} = -\log\frac{\exp(s$$}/\tau)}{\sum_{k=1}^N \exp(s_{i,k}/\tau)

其中：
– $s_{i,j}$ 表示第 i 个图像和第 j 个文本的相似度分数
– $\tau$ 是温度系数
– N 是批次大小

我们来推导一下它的梯度计算过程。对于正样本对 (i,j) 的损失梯度为：

$$\frac{\partial \mathcal{L}}{\partial s_{i,j}} = \frac{1}{\tau}(p_{i,j}-1)$$

而对于负样本对 (i,k) 的梯度为：

$$\frac{\partial \mathcal{L}}{\partial s_{i,k}} = \frac{1}{\tau}p_{i,k}$$

其中 $p_{i,j}$ 是 softmax 后的概率。这个梯度形式非常直观：正样本对的相似度会被拉高，负样本对的相似度会被压低。

温度系数 τ 控制着特征分布的集中程度：
– 较小的 τ 会使分布更尖锐，模型会更关注困难样本
– 较大的 τ 会使分布更平滑，模型对所有样本更一视同仁

在实践中，τ 通常设置在 0.01 到 0.5 之间，需要通过实验来确定最佳值。

下面我们来看如何在 PyTorch 中实现这个损失函数。首先定义一个可微调的对比损失层：

import torch
import torch.nn as nn

class ContrastiveLoss(nn.Module):
    def __init__(self, temperature=0.07):
        super().__init__()
        self.temperature = nn.Parameter(torch.tensor(temperature))
        self.log_softmax = nn.LogSoftmax(dim=-1)

    def forward(self, image_features, text_features):
        # 归一化特征
        image_features = nn.functional.normalize(image_features, dim=-1)
        text_features = nn.functional.normalize(text_features, dim=-1)

        # 计算相似度矩阵
        logits = torch.matmul(image_features, text_features.T) / self.temperature

        # 创建标签
        batch_size = image_features.shape[0]
        labels = torch.arange(batch_size, device=image_features.device)

        # 计算交叉熵损失
        loss_i = nn.functional.cross_entropy(logits, labels)
        loss_t = nn.functional.cross_entropy(logits.T, labels)
        return (loss_i + loss_t) / 2

下面是一个完整的训练循环示例，包含数据加载和 GPU 兼容处理：

def train_one_epoch(model, dataloader, optimizer, device):
    model.train()
    total_loss = 0.0

    for batch_idx, (images, texts) in enumerate(dataloader):
        # 将数据移至 GPU
        images = images.to(device)
        texts = texts.to(device)

        # 前向传播
        image_features = model.encode_image(images)
        text_features = model.encode_text(texts)

        # 计算损失
        loss = criterion(image_features, text_features)

        # 反向传播
        optimizer.zero_grad()
        loss.backward()
        optimizer.step()

        total_loss += loss.item()

        if batch_idx % 100 == 0:
            print(f'Batch {batch_idx}, Loss: {loss.item():.4f}')

    return total_loss / len(dataloader)

较大的批处理大小能提供更多的负样本，有助于更好的对比学习
但也要考虑 GPU 内存限制，通常 256-1024 是一个合理的范围
可以使用梯度累积技术来模拟更大的批处理大小

在使用混合精度训练时，要注意数值稳定性：

scaler = torch.cuda.amp.GradScaler()

with torch.cuda.amp.autocast():
    image_features = model.encode_image(images)
    text_features = model.encode_text(texts)
    loss = criterion(image_features, text_features)

scaler.scale(loss).backward()
scaler.step(optimizer)
scaler.update()

我们发现特征归一化对模型收敛有很大影响：

归一化方式	收敛速度	最终准确率
无归一化	慢	62.1%
L2 归一化	快	78.5%

超参数	推荐值	说明
温度系数 τ	0.07	控制对比度强度
批处理大小	512	提供足够负样本
学习率	5e-5	使用 cosine 衰减
特征维度	512	平衡表达能力和效率