CLIP模型如何实现跨模态语义对齐：从原理到多模态应用实践

1次阅读

共计 2561 个字符，预计需要花费 7 分钟才能阅读完成。

在 CLIP 模型出现之前，跨模态学习主要依赖手工设计特征和典型相关分析 (CCA) 等方法。这些传统方法存在几个明显缺陷：

特征工程依赖专家知识，难以泛化到新领域
模态间映射关系简单，无法捕捉复杂语义关联
需要成对标注数据，数据获取成本高昂

CLIP 通过对比学习构建统一的嵌入空间，其目标函数为对称的 InfoNCE 损失：

$$
\mathcal{L} = -\frac{1}{N}\left(\sum_{i=1}^N \log \frac{e^{\langle I_i, T_i\rangle/\tau}}{\sum_{j=1}^N e^{\langle I_i, T_j\rangle/\tau}} + \sum_{i=1}^N \log \frac{e^{\langle T_i, I_i\rangle/\tau}}{\sum_{j=1}^N e^{\langle T_i, I_j\rangle/\tau}}\right)
$$

其中 $\tau$ 是温度系数，$I_i$ 和 $T_i$ 分别表示图像和文本的归一化嵌入。

import torch
import clip

# 加载 ViT-B/32 架构的预训练权重
device = "cuda" if torch.cuda.is_available() else "cpu"
model, preprocess = clip.load("ViT-B/32", device=device)

# 图像预处理管道说明：# 1. 调整大小为 224x224
# 2. 归一化到 [0,1] 范围
# 3. 应用 ImageNet 统计量的标准化

def compute_similarity(images, texts):
    """
    批量计算图像 - 文本相似度矩阵
    :param images: 预处理后的图像 tensor [B,3,224,224]
    :param texts: 分词后的文本 tensor [N,77]
    :return: 相似度矩阵 [B,N]
    """
    with torch.no_grad():
        # 提取图像特征 [B,512]
        image_features = model.encode_image(images)
        # 提取文本特征 [N,512]
        text_features = model.encode_text(texts)

        # 相似度计算优化技巧：# 1. 特征归一化避免尺度差异
        # 2. 矩阵乘法代替循环计算
        image_features = image_features / image_features.norm(dim=1, keepdim=True)
        text_features = text_features / text_features.norm(dim=1, keepdim=True)

        # 相似度矩阵 = 图像特征 @ 文本特征.T
        return 100.0 * image_features @ text_features.t()

def zero_shot_classification(image, class_names):
    """
    零样本图像分类实现
    :param image: 单张预处理图像 [3,224,224]
    :param class_names: 候选类别列表 ["dog", "cat", ...]
    :return: 类别概率分布
    """
    # Prompt 工程技巧：使用模板增强语义
    templates = ["a photo of a {}",
        "a bad photo of a {}",
        "a cropped photo of a {}"]

    # 生成所有可能的文本输入
    text_inputs = []
    for name in class_names:
        for template in templates:
            text_inputs.append(template.format(name))

    # 分词处理
    text_tokens = clip.tokenize(text_inputs).to(device)

    # 计算相似度
    image_features = model.encode_image(image.unsqueeze(0))
    text_features = model.encode_text(text_tokens)

    # 对每个类别的多个 prompt 取平均
    similarity = (100.0 * image_features @ text_features.t()).softmax(dim=-1)
    similarity = similarity.reshape(1, len(class_names), len(templates)).mean(dim=2)

    return similarity.squeeze(0)