深入解析CLIP对比学习框架：从原理到多模态实践

1次阅读

没有评论

共计 2061 个字符，预计需要花费 6 分钟才能阅读完成。

在传统的单模态模型中，图像和文本通常被映射到各自独立的特征空间。这种分离导致跨模态检索时面临两个主要问题：

特征空间不一致：图像和文本的语义信息无法直接对齐
检索准确率低：跨模态相似度计算存在语义鸿沟

CLIP 采用双塔架构设计，包含两个独立的编码器：

图像编码器：通常使用 Vision Transformer(ViT)或 ResNet
文本编码器：基于 Transformer 的文本模型

两个编码器将不同模态的数据映射到同一语义空间，通过对比学习实现特征对齐。

数学上，给定图像 - 文本对 $(I,T)$，它们的特征表示为：

$$
\begin{aligned}
h_I &= f_\theta(I) \
h_T &= g_\phi(T)
\end{aligned}
$$

其中 $f_\theta$ 和 $g_\phi$ 分别是图像和文本编码器。

InfoNCE 损失函数的核心思想是拉近正样本对的距离，推远负样本对的距离。对于 batch 中的 N 个样本，损失函数定义为：

$$
\mathcal{L} = -\frac{1}{N}\sum_{i=1}^N \log\frac{\exp(s_{i,i}/\tau)}{\sum_{j=1}^N \exp(s_{i,j}/\tau)}
$$

其中 $s_{i,j} = h_I^i \cdot h_T^j$ 表示相似度得分，$\tau$ 是温度系数。

import torch
import torch.nn as nn

class CLIP(nn.Module):
    def __init__(self, image_encoder, text_encoder, dim=512):
        super().__init__()
        self.image_encoder = image_encoder
        self.text_encoder = text_encoder
        # 投影层将特征映射到相同维度
        self.image_proj = nn.Linear(image_encoder.output_dim, dim)
        self.text_proj = nn.Linear(text_encoder.output_dim, dim)
        self.logit_scale = nn.Parameter(torch.ones([]) * np.log(1 / 0.07))

    def forward(self, images, texts):
        # 获取特征
        image_features = self.image_encoder(images)
        text_features = self.text_encoder(texts)

        # 投影到共享空间
        image_embeddings = self.image_proj(image_features)
        text_embeddings = self.text_proj(text_features)

        # 归一化
        image_embeddings = image_embeddings / image_embeddings.norm(dim=1, keepdim=True)
        text_embeddings = text_embeddings / text_embeddings.norm(dim=1, keepdim=True)

        # 计算相似度
        logit_scale = self.logit_scale.exp()
        logits_per_image = logit_scale * image_embeddings @ text_embeddings.t()
        logits_per_text = logits_per_image.t()

        return logits_per_image, logits_per_text

动态负样本采样：在每个 batch 中自动生成负样本对
混合精度训练 ：使用 AMP(Automatic Mixed Precision) 减少显存占用

scaler = torch.cuda.amp.GradScaler()

with torch.cuda.amp.autocast():
    logits_per_image, logits_per_text = model(images, texts)
    loss = clip_loss(logits_per_image, logits_per_text)

scaler.scale(loss).backward()
scaler.step(optimizer)
scaler.update()