CLIP模型实战入门：从零构建图像-文本匹配系统

1次阅读

共计 2496 个字符，预计需要花费 7 分钟才能阅读完成。

传统图像分类模型（如 ResNet）依赖固定类别的监督学习，遇到新类别需要重新训练。而 OpenAI 提出的 CLIP（Contrastive Language-Image Pretraining）通过对比学习将图像和文本映射到共享的嵌入空间（Embedding Space），实现了开箱即用的零样本分类能力。这种跨模态理解的核心在于——用自然语言作为分类标签的通用接口。

CLIP 的训练过程可以概括为：

正负样本构造 ：对于 batch 中的 N 个图像 - 文本对，对角线元素（I1,T1）…(In,Tn) 构成正样本，其余 N²- N 个组合均为负样本
目标函数：采用对称的对比损失（Contrastive Loss），最大化正样本相似度，最小化负样本相似度

数学表达为：

\mathcal{L}_{image} = -\frac{1}{N}\sum_{i=1}^N \log \frac{\exp(\text{sim}(I_i,T_i)/\tau)}{\sum_{j=1}^N \exp(\text{sim}(I_i,T_j)/\tau)}

\mathcal{L}_{text} = -\frac{1}{N}\sum_{i=1}^N \log \frac{\exp(\text{sim}(T_i,I_i)/\tau)}{\sum_{j=1}^N \exp(\text{sim}(T_i,I_j)/\tau)}

其中 τ 是可学习的温度系数，sim(·)为余弦相似度计算。

import torch
import clip
from PIL import Image
from typing import Tuple, Optional

assert torch.__version__ >= '1.12.0', "请升级 PyTorch 版本"

def load_pretrained(device: str = "cuda" if torch.cuda.is_available() else "cpu") \
    -> Tuple[torch.nn.Module, torch.nn.Module]:
    """
    加载 ViT-B/32 预训练模型
    :return: (视觉编码器, 文本编码器)
    """
    try:
        model, preprocess = clip.load("ViT-B/32", device=device)
        return model.visual, model.transformer
    except Exception as e:
        print(f"模型加载失败: {str(e)}")
        raise

def match_image_text(
    image_path: str, 
    texts: list[str],
    top_k: int = 3
) -> list[Tuple[str, float]]:
    """
    计算图像与多个文本的相似度
    :param image_path: 输入图像路径
    :param texts: 候选文本列表
    :return: 排序后的 (文本, 相似度) 列表
    """device ="cuda"if torch.cuda.is_available() else"cpu"

    # 初始化模型
    visual_encoder, text_encoder = load_pretrained(device)
    preprocess = clip.load("ViT-B/32", device=device)[1]

    # 处理输入
    try:
        image = preprocess(Image.open(image_path)).unsqueeze(0).to(device)
        text_tokens = clip.tokenize(texts).to(device)
    except Exception as e:
        print(f"输入处理错误: {str(e)}")
        return []

    # 特征提取
    with torch.no_grad():
        image_features = visual_encoder(image)
        text_features = text_encoder(text_tokens)

    # 相似度计算
    logits = (image_features @ text_features.T).softmax(dim=-1)
    return sorted(zip(texts, logits.squeeze().tolist()), 
                 key=lambda x: x[1], reverse=True)[:top_k]

显存占用与 batch_size 成线性关系
建议梯度累积（Gradient Accumulation）替代大 batch

scaler = torch.cuda.amp.GradScaler()

with torch.cuda.amp.autocast():
    image_features = visual_encoder(images)
    text_features = text_encoder(texts)
    loss = contrastive_loss(image_features, text_features)

scaler.scale(loss).backward()
scaler.step(optimizer)
scaler.update()