Chinese-CLIP微调实战：从零构建跨模态搜索系统

1次阅读

共计 2357 个字符，预计需要花费 6 分钟才能阅读完成。

当我们将预训练的 Chinese-CLIP 模型应用到电商商品搜索、医疗影像检索等垂直领域时，常遇到两个典型问题：

图文数据分布差异：预训练使用的 5 亿互联网图文对（如百度图片）与业务数据（如商品白底图 + 参数文案）存在语义鸿沟
领域术语失效：预训练词表中缺少专业词汇（如 ” 骁龙 8Gen3″ 需拆分为子词），导致文本编码质量下降

通过微调实验发现，直接迁移的零样本检索准确率可能比业务标注数据低 20-30 个百分点，这促使我们必须进行领域适配。

我们在电商数据集上对比了三种微调策略（RTX 4090 显卡，batch_size=128）：

方法	显存占用	训练速度	MUGE-R@1
全参数微调	24GB	1.2it/s	58.7
LoRA(r=8)	18GB	1.5it/s	57.2
Adapter	16GB	1.8it/s	55.9

关键发现 ：

全参数微调效果最好，但资源消耗大
LoRA 在仅损失 1.5 个点的情况下节省 25% 显存
Adapter 适合极端资源受限场景

def normalize_chinese_text(text: str) -> str:
    """处理中文标点与特殊符号"""
    # 全角转半角
    text = text.translate(str.maketrans(
        '，。！？【】（）%#@&1234567890',
        ',.!?[]()%#@&1234567890'))
    # 连续空格合并
    return re.sub(r'\s+', ' ', text).strip()

class ChineseCLIPDataset(Dataset):
    def __init__(self, df: pd.DataFrame):
        self.texts = [normalize_chinese_text(t) for t in df['text']]
        self.images = df['image_path'].tolist()

    def __getitem__(self, idx) -> Tuple[torch.Tensor, torch.Tensor]:
        try:
            image = Image.open(self.images[idx]).convert('RGB')
            text = self.texts[idx]
            return self.image_transform(image), text
        except Exception as e:
            print(f"Error loading {self.images[idx]}: {e}")
            return self[random.randint(0, len(self)-1)]  # 失败时随机返回其他样本

损失函数采用 InfoNCE with hard negative mining：

$$
\mathcal{L} = -\log\frac{e^{s_{i,i}/\tau}}{\sum_{j=1}^N e^{s_{i,j}/\tau}} + \lambda \sum_{k\in \mathcal{N}i} \max(0, s + \alpha)
$$} – s_{i,i

def contrastive_loss(image_embeds: torch.Tensor,  # [batch, dim]
    text_embeds: torch.Tensor,
    temperature: float = 0.07,
    margin: float = 0.2
) -> torch.Tensor:
    """带难负样本挖掘的对比损失"""
    # 相似度矩阵
    logits = image_embeds @ text_embeds.T / temperature  # [B,B]

    # 正样本对角线
    labels = torch.arange(len(logits), device=logits.device)
    loss = F.cross_entropy(logits, labels) + F.cross_entropy(logits.T, labels)

    # 难负样本挖掘
    with torch.no_grad():
        neg_mask = 1 - torch.eye(len(logits), device=logits.device)
        hard_neg = (logits * neg_mask > logits.diag().view(-1,1)).float()

    if hard_neg.sum() > 0:
        loss += margin * (logits * hard_neg).sum() / hard_neg.sum()

    return loss / 2  # 对称损失取平均

图像侧：
颜色抖动（亮度±0.1, 对比度±0.1, 饱和度±0.1）
随机灰度化（p=0.2）
非对称裁剪（保留商品主体）
文本侧：
同义词替换（使用哈工大同义词词林）
实体随机掩码（如 ” 华为 Mate60″ → “[品牌][型号]”）

传统早停可能过早终止训练，建议采用：

# 在验证集准确率连续 3 次不提升时，降低学习率
scheduler = ReduceLROnPlateau(
    optimizer, 
    mode='max', 
    patience=3, 
    factor=0.5,
    verbose=True
)

# 当学习率低于 1e- 6 时停止训练
if optimizer.param_groups[0]['lr'] < 1e-6:
    break

在 MUGE 验证集上的指标提升：