CLIP微调实战：基于GitHub开源项目训练自定义分类模型

1次阅读

共计 2577 个字符，预计需要花费 7 分钟才能阅读完成。

CLIP 作为多模态模型的代表，其零样本分类能力令人惊艳——无需训练数据就能完成图像分类。但实际业务中，我们常遇到专业领域分类（如医疗影像识别）或特定场景需求（如商品材质识别），此时零样本表现可能不及预期。微调可以让模型『忘记』通用特征，专注于学习领域特定的视觉 - 语言关联模式。

通过微调最后一层投影矩阵，我们在电商服饰分类任务中使 Top- 1 准确率从 72% 提升至 89%。更重要的是，微调后的模型保留了 CLIP 的强泛化能力，新增类别时只需提供文本描述即可预测。

目前主流有两种 CLIP 实现方案：

HuggingFace Transformers
优势：API 统一，与 BERT 等模型无缝对接
不足：仅支持 OpenAI 原版权重，自定义结构改动困难
OpenCLIP
优势：支持 ViT/ResNet 等多编码器，社区贡献权重丰富
不足：需手动处理文本 tokenizer 对齐

对于需要快速验证的场景，推荐 HuggingFace 方案。我们的生产环境最终选择 OpenCLIP，因其支持混合精度训练时显存占用更低（实测 RTX 3090 上 batch_size 可达 256）。

CLIP 微调需要同时加载图像 - 文本对。这里使用 torchvision.datasets.ImageFolder 扩展：

class CLIPDataset(Dataset):
    def __init__(self, root_dir, transform):
        self.dataset = ImageFolder(root_dir)
        self.class_names = self.dataset.classes
        self.transform = transform

    def __getitem__(self, idx) -> Tuple[torch.Tensor, str]:
        img, label_idx = self.dataset[idx]  
        text_desc = f"a photo of {self.class_names[label_idx]}"  # 生成规范文本描述
        return self.transform(img), text_desc

关键点：文本描述需统一前缀（如『a photo of』），这与 CLIP 预训练模式保持一致。

原始 CLIP 使用对称交叉熵损失，微调时我们加入难例挖掘：

def clip_loss(logits_per_image: torch.Tensor, logits_per_text: torch.Tensor,
             labels: torch.Tensor, margin: float = 0.2) -> torch.Tensor:
    """
    logits_per_image: [batch_size, batch_size] 图像 - 文本相似度矩阵
    labels: [batch_size] 每个图像的真实类别索引
    """
    # 正样本对损失
    pos_mask = torch.eye(logits_per_image.size(0), device=logits_per_image.device)
    pos_loss = -torch.log((F.softmax(logits_per_image, dim=1) * pos_mask).sum(1)).mean()

    # 难负样本挖掘（同类别其他样本）neg_mask = (labels.unsqueeze(1) == labels.unsqueeze(0)) & (~pos_mask.bool())
    hard_neg = (logits_per_image * neg_mask.float()).max(1)[0]
    neg_loss = F.relu(margin - hard_neg).mean()

    return pos_loss + 0.5 * neg_loss  # 平衡权重

采用线性 warmup+ 余弦退火组合：

from torch.optim.lr_scheduler import SequentialScheduler, LinearLR, CosineAnnealingLR

scheduler = SequentialScheduler(LinearLR(optimizer, start_factor=1e-4, total_iters=1000),  # 1000 步 warmup
    CosineAnnealingLR(optimizer, T_max=epochs*steps_per_epoch - 1000)  # 余弦衰减
)

过采样策略：对少样本类别复制图像并添加轻微扰动（如随机旋转）
损失加权：根据类别频率调整交叉熵权重

当 GPU 显存不足时：

启用梯度累积

for i, (images, texts) in enumerate(dataloader):
    loss = model(images, texts)
    loss.backward()

    if (i+1) % 4 == 0:  # 每 4 个 batch 更新一次
        optimizer.step()
        optimizer.zero_grad()

混合精度训练

scaler = torch.cuda.amp.GradScaler()
with torch.autocast(device_type='cuda', dtype=torch.float16):
    loss = model(images, texts)
scaler.scale(loss).backward()

使用 TorchScript 导出后量化：

quantized_model = torch.quantization.quantize_dynamic(model, {torch.nn.Linear}, dtype=torch.qint8
)
torch.jit.save(torch.jit.script(quantized_model), "clip_quantized.pt")