CLIP微调实战：零样本分类代码实现与性能优化

1次阅读

共计 2059 个字符，预计需要花费 6 分钟才能阅读完成。

CLIP（Contrastive Language-Image Pretraining）是 OpenAI 提出的多模态模型，通过对比学习将图像和文本映射到同一嵌入空间。零样本分类是指模型在没有见过某类别的训练样本时，也能通过自然语言描述进行分类的能力。这种特性在以下场景特别有用：

新产品类别识别（如电商新品上架）
医学影像的罕见病症诊断
动态变化的监控目标检测

原始 CLIP 虽然在通用领域表现优异，但在垂直领域会遇到：

专业术语理解偏差（如医疗报告中的缩写）
领域特征捕捉不足（卫星影像 vs 自然图片）
文化差异导致的语义鸿沟（不同地区的商品包装）

优点：最大化模型适应能力
缺点：需要大量计算资源，容易过拟合

原理：在 Transformer 层插入小型可训练模块

示例代码结构：

class Adapter(nn.Module):
    def __init__(self, dim):
        super().__init__()
        self.down = nn.Linear(dim, dim//4)
        self.up = nn.Linear(dim//4, dim)

    def forward(self, x):
        return x + self.up(F.gelu(self.down(x)))

典型模板：” 这是一张 [V] 的图片 ”，其中 [V] 为可学习 token
内存占用仅为全微调的 0.1%

from torchvision.transforms import Compose, Resize, ToTensor

transform = Compose([Resize((224, 224)),  # CLIP 标准输入尺寸
    ToTensor(),
    lambda x: x*2 - 1   # [0,1] -> [-1,1]
])

import clip
model, preprocess = clip.load("ViT-B/32", device="cuda")
# 冻结视觉编码器
for param in model.visual.parameters():
    param.requires_grad = False

optimizer = AdamW(model.text_encoder.parameters(), lr=5e-5)

for epoch in range(10):
    for images, texts in loader:
        # 将文本转换为 CLIP 可理解的 token
        text_inputs = clip.tokenize(texts).to(device)

        # 计算对比损失
        image_features = model.encode_image(images)
        text_features = model.encode_text(text_inputs)
        logits = (image_features @ text_features.T) * model.logit_scale.exp()

        loss = F.cross_entropy(logits, labels)
        loss.backward()
        optimizer.step()

学习率调度：

scheduler = CosineAnnealingLR(optimizer, T_max=100)

混合精度训练：

scaler = GradScaler()
with autocast():
    # 前向计算代码
scaler.scale(loss).backward()
scaler.step(optimizer)
scaler.update()

批量大小选择：
建议显存允许时使用≥32 的 batch size
可使用梯度累积模拟更大 batch

对策：添加 Dropout 层（p=0.1）
早停策略：当验证损失连续 3 轮不下降时终止

梯度裁剪：

torch.nn.utils.clip_grad_norm_(model.parameters(), 1.0)

使用 ONNX 转换提升推理速度：

torch.onnx.export(model, 
                dummy_input,
                "clip_finetuned.onnx",
                opset_version=13)

FastAPI 服务示例：

@app.post("/classify")
async def classify(image: UploadFile):
    img = preprocess(Image.open(image.file))
    with torch.no_grad():
        probs = model(img[None,...])
    return {"class": classes[probs.argmax()]}