Chinese-CLIP微调实战：从零开始构建跨模态搜索系统

1次阅读

共计 1528 个字符，预计需要花费 4 分钟才能阅读完成。

跨模态检索在电商搜索、内容审核等场景有巨大价值。比如用户拍照搜索商品时，系统需要理解图片内容并匹配文字描述。传统方法依赖人工特征工程，而 Chinese-CLIP 通过预训练模型实现端到端的图文匹配。

Chinese-CLIP 采用 ViT（Vision Transformer）处理图像，用文本编码器处理文字，通过对比学习让两种模态的向量空间对齐。相比单语言模型，它能更好地捕捉中文特有的语义和视觉关联。

数据稀缺性 ：高质量的中文图文对数据集较少，且存在标注噪声
模态对齐偏差 ：微调时容易过度拟合一种模态（通常是文本）
显存爆炸 ：双编码器结构导致显存占用是单模态模型的 2 - 3 倍

# 文本清洗：去除特殊字符 + 分词
def clean_text(text):
    text = re.sub(r'[\W+]', ' ', text)  # 移除非字母数字字符
    return ' '.join(jieba.cut(text))  # 中文分词

# 图像增强：使用 Albumentations 库
import albumentations as A
train_transform = A.Compose([A.RandomResizedCrop(224, 224),
    A.HorizontalFlip(p=0.5),
    A.Normalize()])

参数	推荐值	说明
learning_rate	5e-6	使用线性 warmup
warmup_steps	1000	避免初期震荡
batch_size	64	配合梯度累积使用
epochs	5-8	中文数据易过拟合

# 梯度累积实现（累计 4 步更新一次）optimizer.zero_grad()
for i, (images, texts) in enumerate(dataloader):
    loss = model(images, texts)
    loss = loss / 4  # 梯度平均
    loss.backward()

    if (i+1) % 4 == 0:
        optimizer.step()
        optimizer.zero_grad()

使用 t -SNE 对微调前后的特征降维显示：
– 微调前：图文样本在向量空间随机分布
– 微调后：相同语义的图文对形成明显聚类

batch_size	原始占用	梯度累积后
32	28GB	18GB
64	OOM	22GB

使用 CleanLab 库检测错误标注
对噪声样本采用较小的 loss 权重

# 需配合 AMP 使用
scaler = GradScaler()
with autocast():
    loss = model(images, texts)
scaler.scale(loss).backward()
scaler.step(optimizer)
scaler.update()

避坑指南 ：
– 避免在 LayerNorm 层使用 fp16
– 梯度裁剪阈值设为 1.0