CLIP微调实战：基于GitHub开源项目训练自定义分类模型

1次阅读

共计 3199 个字符，预计需要花费 8 分钟才能阅读完成。

CLIP 模型由 OpenAI 提出，通过对比学习实现了图像和文本的跨模态理解。它的零样本分类能力令人印象深刻——不需要任何特定任务的训练数据，就能对新类别进行分类。但在实际业务场景中，我们往往会遇到领域专属术语、特殊视觉特征等情况，这时候零样本表现可能达不到预期。

通过微调，可以让模型更好地适应我们的数据分布。比如医疗影像中的专业术语、电商场景下的细粒度商品分类，都需要让 CLIP『忘记』一些通用知识，强化特定领域的特征关联。有趣的是，CLIP 的微调相比从头训练视觉语言模型，只需要少量标注数据（通常每类 50-100 个样本）就能获得显著提升。

目前主流有两个实现方向：

HuggingFace Transformers
优点：接口统一，与 BERT 等模型共用 pipeline；社区资源丰富
缺点：对 CLIP 的对比学习任务支持不完整，微调时需要手动补全损失函数
OpenCLIP
优点：完整复现论文实现，支持多种预训练权重；内置数据增强策略
缺点：自定义数据加载器需要适配其 Dataset 规范

对于希望快速实验的开发者，推荐从 OpenCLIP 入手。以下是关键指标对比（基于 RTX 3090 测试）：

方案	显存占用	每秒训练步数	零样本准确率
HuggingFace	18GB	12.5	62.1%
OpenCLIP	15GB	15.8	65.3%

CLIP 需要同时处理图像 - 文本对。这里展示一个支持动态 prompt 生成的 Dataset 实现：

from torch.utils.data import Dataset
from PIL import Image

def default_prompt(label: str) -> str:
    return f"A photo of a {label}"

class CLIPFineTuneDataset(Dataset):
    def __init__(self, image_paths: List[str], labels: List[str], 
                 prompt_fn=default_prompt):
        self.image_paths = image_paths
        self.labels = labels
        self.prompt_fn = prompt_fn

    def __getitem__(self, idx: int) -> Tuple[torch.Tensor, str]:
        image = Image.open(self.image_paths[idx])
        image = preprocess(image)  # 需定义预处理变换
        text = self.prompt_fn(self.labels[idx])
        return image, text

原始 CLIP 使用对称交叉熵损失，微调时我们可以加入难例挖掘：

import torch.nn.functional as F

def clip_loss(logits_per_image: torch.Tensor, 
              logits_per_text: torch.Tensor,
              margin: float = 0.2) -> torch.Tensor:
    """
    logits_per_image: [batch_size, batch_size] 图像到文本相似度
    logits_per_text: [batch_size, batch_size] 文本到图像相似度
    """
    # 对角线位置是正样本
    labels = torch.arange(logits_per_image.size(0), device=logits_per_image.device)

    # 标准对称损失
    img_loss = F.cross_entropy(logits_per_image, labels)
    text_loss = F.cross_entropy(logits_per_text, labels)

    # 难例挖掘：找到每个样本最难负样本
    with torch.no_grad():
        # 掩码排除对角线
        mask = ~torch.eye(logits_per_image.size(0), dtype=torch.bool, 
                         device=logits_per_image.device)
        hardest_neg = (logits_per_image.masked_fill(~mask, -float('inf'))
                       .max(dim=1).values)

    # 加入间隔损失
    hinge_loss = F.relu(margin + hardest_neg - logits_per_image.diagonal())

    return (img_loss + text_loss) / 2 + hinge_loss.mean()

CLIP 的视觉和文本编码器应该使用不同的学习率：

from torch.optim import AdamW

# 参数分组
vision_params = [p for n, p in model.named_parameters() 
                if n.startswith('visual.')]
text_params = [p for n, p in model.named_parameters() 
              if n.startswith('transformer.')]

optimizer = AdamW([{'params': vision_params, 'lr': 5e-6},
    {'params': text_params, 'lr': 1e-5}
])

# 余弦退火调度
scheduler = torch.optim.lr_scheduler.CosineAnnealingLR(optimizer, T_max=100, eta_min=1e-7)

当某些类别样本过少时：

对少量类别过采样时，保持图像增强强度一致

在损失函数中加入类别权重：

weights = 1. / torch.bincount(labels)
loss = F.cross_entropy(..., weight=weights)

使用梯度累积突破单卡显存限制：

accum_steps = 4  # 累积 4 个 batch 再更新

for idx, (images, texts) in enumerate(dataloader):
    outputs = model(images, texts)
    loss = criterion(outputs)
    loss = loss / accum_steps  # 损失归一化
    loss.backward()

    if (idx + 1) % accum_steps == 0:
        optimizer.step()
        optimizer.zero_grad()

使用 TorchScript 导出量化模型：

# 动态量化文本编码器（RNN 结构受益明显）quantized_text = torch.quantization.quantize_dynamic(model.transformer, {torch.nn.Linear}, dtype=torch.qint8)

# 静态量化视觉编码器
model.visual.eval()
quantized_visual = torch.quantization.quantize_static(
    model.visual, 
    {torch.nn.Conv2d, torch.nn.Linear},
    inplace=False)