CLIP模型微调实战：从零构建跨模态搜索系统

1次阅读

共计 2147 个字符，预计需要花费 6 分钟才能阅读完成。

在电商商品搜索等实际业务场景中，原始 CLIP 模型往往面临以下挑战：

领域分布偏移：CLIP 预训练数据（如 LAION-5B）与电商商品图像和描述存在明显差异，导致特征空间不对齐
细粒度特征捕捉不足：鞋款、口红色号等细微差异难以通过原始模型区分
长尾效应：小众品类（如古着服饰）的表示能力较弱
文本噪声：用户搜索 Query 包含口语化表达（如 ” 显瘦牛仔裤 ”）与商品描述的匹配度低

Full Fine-tuning
优点：全面调整模型参数，适应新数据分布
缺点：需要更多计算资源，可能过拟合小数据集
Prompt Tuning
优点：仅调整提示词，资源消耗低
缺点：难以处理视觉 - 文本模态的深度交互

对比损失(Contrastive Loss)
适合：正负样本对明确的场景（如图文匹配）
公式：$L = -\log\frac{e^{sim(q,k^+)/\tau}}{\sum_{i=0}^K e^{sim(q,k_i)/\tau}}$
交叉熵损失
适合：存在明确类别标签的分类任务
需配合标签平滑 (Label Smoothing) 使用

class ProductDataset(Dataset):
    def __init__(self, df, image_size=224):
        self.transform = transforms.Compose([transforms.RandomResizedCrop(image_size),  # 随机裁剪增强
            transforms.RandomHorizontalFlip(),
            transforms.ToTensor(),
            transforms.Normalize((0.481, 0.457, 0.408), (0.268, 0.261, 0.275))
        ])
        self.tokenizer = AutoTokenizer.from_pretrained('openai/clip-vit-base-patch32')

    def __getitem__(self, idx):
        # 图像处理
        img_path = self.df.iloc[idx]['image_path']
        image = self.transform(Image.open(img_path).convert('RGB'))

        # 文本处理（截断过长的描述）text = self.df.iloc[idx]['description'][:77]  # CLIP 最大长度 77
        text = self.tokenizer(text, padding='max_length', 
                             truncation=True, return_tensors='pt')
        return image, text

graph LR
    A[Image] --> B[ViT Encoder]
    C[Text] --> D[Text Encoder]
    B --> E[Projection Head]
    D --> F[Projection Head]
    E --> G[Cosine Similarity]
    F --> G

# 混合精度训练
scaler = torch.cuda.amp.GradScaler()

for epoch in range(epochs):
    for i, (images, texts) in enumerate(train_loader):
        with torch.cuda.amp.autocast():
            # 前向传播
            image_features = model.encode_image(images)
            text_features = model.encode_text(texts.input_ids)

            # 计算对比损失
            logits = (text_features @ image_features.T) * model.logit_scale.exp()
            labels = torch.arange(len(logits))
            loss = (F.cross_entropy(logits, labels) + 
                   F.cross_entropy(logits.T, labels)) / 2

        # 梯度累积
        scaler.scale(loss).backward()
        if (i + 1) % 4 == 0:  # 每 4 步更新一次
            scaler.step(optimizer)
            scaler.update()
            optimizer.zero_grad()