CLIP微调训练实战指南：从零构建高效视觉-语言模型

1次阅读

共计 2701 个字符，预计需要花费 7 分钟才能阅读完成。

传统 CV 模型的微调方法在 CLIP 上往往会失效，核心原因在于 CLIP 的对比学习 (Contrastive Learning) 机制。与常规分类模型不同，CLIP 通过图像 - 文本对的相似度计算来学习跨模态表示，这意味着：

特征空间对齐敏感：微调时破坏原始预训练建立的跨模态对齐关系
负样本重要性 ：随机采样负样本会导致对比损失(Contrastive Loss) 失效
双塔结构耦合：图像编码器和文本编码器需要协同调整

实验发现，直接全参数微调 (Full Fine-tuning) 会导致模型在目标域表现下降 20% 以上。

方法	参数量	显存占用	训练速度	效果保持
Full Fine-tuning	100%	高	慢	差
Adapter	3-5%	中	较快	良
Prefix-tuning	1-2%	低	快	中
LoRA (推荐)	0.5-1%	低	最快	优

# 在 CLIP 的 attention 层注入 LoRA
class LoRA_Linear(nn.Module):
    def __init__(self, linear_layer, rank=4):
        super().__init__()
        self.linear = linear_layer
        self.lora_down = nn.Linear(linear_layer.in_features, rank, bias=False)
        self.lora_up = nn.Linear(rank, linear_layer.out_features, bias=False)

    def forward(self, x):
        return self.linear(x) + self.lora_up(self.lora_down(x))

# 应用到 CLIP 模型  
for layer in clip_model.visual.transformer.resblocks:
    layer.attn.in_proj = LoRA_Linear(layer.attn.in_proj)

噪声过滤：计算图文对的 CLIP 预训练相似度，剔除 score<0.2 的样本
增强策略：
图像侧：RandAugment 强度设为(3,15)
文本侧：随机 drop 单词(概率 0.1) + 同义词替换

class CLIPDataModule(pl.LightningDataModule):
    def __init__(self, batch_size=256):
        super().__init__()
        self.batch_size = batch_size

    def setup(self, stage=None):
        # 实现多模态数据加载
        self.train_dataset = CustomDataset(
            transform=clip_preprocess,
            text_augment=TextAugment())

class CLIPLearner(pl.LightningModule):
    def __init__(self, lr=5e-5):
        super().__init__()
        self.model = load_pretrained_clip()
        self.lr = lr

    def training_step(self, batch, batch_idx):
        images, texts = batch
        # 混合精度训练 + 梯度裁剪
        with autocast():
            logits = self.model(images, texts)
            loss = clip_loss(logits)
        self.log('train_loss', loss)
        return loss

    def configure_optimizers(self):
        # 分层学习率设置
        params = [{'params': self.model.visual.parameters(), 'lr': self.lr*0.1},
            {'params': self.model.text.parameters(), 'lr': self.lr}
        ]
        return torch.optim.AdamW(params)

学习率策略：
基础 lr：5e-5（文本编码器），视觉编码器设为 1 /10
warmup 步数：总 step 数的 10%（至少 2000 步）
Batch Size 权衡：
32-256：适合计算资源有限时
1024+：需配合 gradient checkpointing
Temperature 参数：
初始值 0.07（CLIP 默认）
当 bs>2048 时，调整为 0.02-0.05

def zero_shot_eval(model, val_loader):
    # 构建 prompt 模板
    templates = ["a photo of a {}", "This is {}", ...]

    with torch.no_grad():
        text_features = []
        for class_name in class_names:
            texts = [t.format(class_name) for t in templates]
            # 计算文本特征均值
            texts = clip.tokenize(texts).cuda()
            class_feature = model.encode_text(texts).mean(0)
            text_features.append(class_feature)

        # 计算图像特征相似度
        acc = 0
        for images, labels in val_loader:
            image_features = model.encode_image(images)
            logits = image_features @ text_features.t()
            acc += (logits.argmax(1) == labels).float().mean()
    return acc / len(val_loader)