CLIP对比学习入门指南：从零构建语言-图像预训练模型

1次阅读

没有评论

共计 2652 个字符，预计需要花费 7 分钟才能阅读完成。

传统的单模态预训练模型（如 ResNet 处理图像、BERT 处理文本）存在明显瓶颈：它们只能理解单一类型的数据。当我们需要处理像 ” 用文字描述图片 ” 或 ” 根据搜索词找配图 ” 这类任务时，单模态模型就力不从心了。

举个例子，电商平台想要实现 ” 用自然语言搜索商品图片 ” 的功能，传统方案需要分别训练图像分类器和文本分类器，再建立复杂的映射规则。而 CLIP 这类跨模态模型，可以直接学习图文之间的语义关联。

CLIP（Contrastive Language-Image Pretraining）的核心创新在于：

双塔架构：同时处理图像和文本的并行编码器
对比学习：通过比较正负样本对来建立跨模态关联
海量数据：训练使用了 4 亿对互联网公开的图文数据

与单模态模型对比：

ResNet 只能输出图像特征向量
BERT 只能理解文本语义
CLIP 能使图像和文本特征位于同一语义空间

典型的数据集格式是（图像，描述文本）对。我们需要：

图像预处理：
调整大小为 224×224
归一化像素值到[0,1]
应用随机裁剪、翻转等增强
文本预处理：
分词（CLIP 使用 BPE 编码）
截断 / 填充到固定长度 77

# 图像预处理示例
from torchvision import transforms

transform = transforms.Compose([transforms.Resize(224),
    transforms.RandomCrop(224),
    transforms.ToTensor(),
    transforms.Normalize(mean=[0.48145466, 0.4578275, 0.40821073],
        std=[0.26862954, 0.26130258, 0.27577711])
])

CLIP 采用双编码器结构：

图像编码器：通常使用 Vision Transformer（ViT）
将图像分块为 16×16 的 patches
通过线性投影得到 patch embeddings
添加位置编码后输入 Transformer
文本编码器：类似 BERT 的 Transformer
处理 BPE 编码的文本输入
使用[EOS]token 的 embedding 作为整体表示

import torch
import torch.nn as nn

class ImageEncoder(nn.Module):
    def __init__(self):
        super().__init__()
        self.model = torch.hub.load('facebookresearch/dino:main', 'dino_vits16')

    def forward(self, x):
        return self.model(x)

class TextEncoder(nn.Module):
    def __init__(self):
        super().__init__()
        self.transformer = nn.TransformerEncoder(nn.TransformerEncoderLayer(d_model=512, nhead=8),
            num_layers=6)

    def forward(self, x):
        return self.transformer(x)[:, 0]  # 取 [EOS] 位置输出

InfoNCE 损失函数的计算步骤：

计算 batch 内所有图文对的相似度矩阵
对角线位置是正样本对
其他位置视为负样本
对每行和每列分别计算交叉熵损失

数学表达式：

L_i = -log[exp(sim(i,i)/τ) / ∑_j exp(sim(i,j)/τ)]
L_t = -log[exp(sim(t,t)/τ) / ∑_j exp(sim(j,t)/τ)]
L = (L_i + L_t)/2

# 训练循环核心代码
def train_one_epoch(model, dataloader, optimizer):
    model.train()
    total_loss = 0

    for images, texts in dataloader:
        # 前向计算
        image_emb = model.image_encoder(images)
        text_emb = model.text_encoder(texts)

        # 计算相似度矩阵
        logits = image_emb @ text_emb.T * model.temperature

        # 计算对比损失
        labels = torch.arange(len(logits))
        loss_i = F.cross_entropy(logits, labels)
        loss_t = F.cross_entropy(logits.T, labels)
        loss = (loss_i + loss_t)/2

        # 反向传播
        optimizer.zero_grad()
        loss.backward()
        optimizer.step()

        total_loss += loss.item()

    return total_loss / len(dataloader)

冻结图像编码器的浅层参数
使用更大的学习率训练文本编码器
添加线性投影层适配新特征空间

scaler = torch.cuda.amp.GradScaler()

with torch.cuda.amp.autocast():
    image_emb = model.image_encoder(images)
    text_emb = model.text_encoder(texts)

scaler.scale(loss).backward()
scaler.step(optimizer)
scaler.update()