CLIP对比学习微调实战：从原理到高效调参

1次阅读

共计 1845 个字符，预计需要花费 5 分钟才能阅读完成。

CLIP（Contrastive Language-Image Pretraining）通过对比学习实现图像与文本的跨模态对齐，其核心思想是将匹配的图文对在嵌入空间中拉近，不匹配的推远。但在实际微调时，开发者常遇到以下问题：

全参数微调显存占用高，尤其处理高分辨率图像时
预训练与下游任务的模态分布差异导致收敛困难
文本描述噪声影响对比学习效果

全参数微调：
优点：理论上能达到最佳性能
缺点：需要调整所有参数，计算成本高
Adapter：
在 Transformer 层间插入小网络
典型参数量仅为原模型的 0.5-8%
LoRA：
通过低秩矩阵分解注入可训练参数
比 Adapter 更轻量，适合显存受限场景

温度系数（temperature）：控制样本集中程度，通常设为 0.07
Hard negative mining：自动筛选困难负样本提升对比效果
对称损失：同时计算 image-to-text 和 text-to-image 两个方向的损失

import torch
from torch import nn
import clip  # 官方 CLIP 库

class PairDataset(torch.utils.data.Dataset):
    def __init__(self, image_dir, text_path):
        self.image_paths = [f"{image_dir}/{i}.jpg" for i in range(1000)]
        self.texts = open(text_path).read().splitlines()[:1000]

    def __getitem__(self, idx):
        image = preprocess(Image.open(self.image_paths[idx]))  # 需自定义预处理
        text = clip.tokenize(self.texts[idx])
        return image, text

def contrastive_loss(logits_per_image, logits_per_text, temperature=0.07):
    """对称 InfoNCE 损失实现"""
    # 计算 image-to-text 方向
    labels = torch.arange(logits_per_image.shape[0]).to(device)
    loss_i = nn.CrossEntropyLoss()(logits_per_image/temperature, labels)

    # 计算 text-to-image 方向
    loss_t = nn.CrossEntropyLoss()(logits_per_text/temperature, labels)

    return (loss_i + loss_t) / 2

梯度累积：

for i, (images, texts) in enumerate(dataloader):
    with torch.cuda.amp.autocast():
        loss = model(images, texts)
        loss = loss / accumulation_steps
        loss.backward()

    if (i+1) % accumulation_steps == 0:
        optimizer.step()
        optimizer.zero_grad()