深入解析CLIP文本编码器：从原理到多模态应用实践

1次阅读

共计 2082 个字符，预计需要花费 6 分钟才能阅读完成。

在构建多模态应用时，文本和图像之间的语义对齐是一个核心挑战。传统的文本编码器（如 BERT、RoBERTa 等）虽然在纯文本任务上表现出色，但在跨模态场景中往往效果不佳。主要原因包括：

传统文本编码器缺乏与视觉模态的联合训练，导致文本表示与图像表示之间存在语义鸿沟
单一模态的预训练目标（如掩码语言建模）无法学习到跨模态的对应关系
文本和图像的特征空间分布不一致，直接计算相似度效果较差

CLIP 的文本编码器基于 Transformer 架构，其结构可以简单表示为：

[文本输入] 
   ↓
[Token Embedding] + [Position Embedding]
   ↓
[12 层 Transformer 编码器]
   ↓
[EOS Token 的隐藏状态]
   ↓
[Layer Normalization] → [文本特征向量]

与 BERT 的主要区别在于：

CLIP 使用更大的上下文窗口（77 tokens）
最终输出只取 [EOS]token 的表示
训练目标是图像 - 文本对比损失而非语言建模

通过计算余弦相似度可以观察到：

BERT 的文本嵌入倾向于聚集在特定区域
CLIP 的文本嵌入分布更加均匀，与图像嵌入空间对齐更好
在跨模态检索任务中，CLIP 的 Recall@K 指标通常比 BERT 高 20-30%

CLIP 通过对比损失函数学习文本 - 图像对齐：

对每个 batch 中的 N 个图像 - 文本对
计算 N×N 的相似度矩阵
优化目标是让匹配的对角线相似度最大化，非对角线相似度最小化

这种训练方式迫使模型学习到跨模态的通用表示。

from transformers import CLIPModel, CLIPProcessor
import torch
from typing import List

def get_text_embeddings(texts: List[str], 
    model_name: str = "openai/clip-vit-base-patch32",
    device: str = "cuda" if torch.cuda.is_available() else "cpu") -> torch.Tensor:
    """
    获取文本的 CLIP 嵌入表示

    参数:
        texts: 输入文本列表
        model_name: CLIP 模型名称
        device: 计算设备

    返回:
        (n_texts, embed_dim) 形状的张量
    """
    try:
        # 加载模型和处理器
        model = CLIPModel.from_pretrained(model_name).to(device)
        processor = CLIPProcessor.from_pretrained(model_name)

        # 批处理输入（避免内存溢出）batch_size = 32
        all_embeddings = []

        for i in range(0, len(texts), batch_size):
            batch = texts[i:i+batch_size]
            inputs = processor(
                text=batch, 
                return_tensors="pt", 
                padding=True, 
                truncation=True
            ).to(device)

            with torch.no_grad():
                outputs = model.get_text_features(**inputs)
                # 归一化到单位球面
                embeddings = outputs / outputs.norm(dim=-1, keepdim=True)
                all_embeddings.append(embeddings.cpu())

            # 显存清理
            del inputs, outputs
            if device == "cuda":
                torch.cuda.empty_cache()

        return torch.cat(all_embeddings, dim=0)
    except Exception as e:
        print(f"Error in embedding generation: {str(e)}")
        raise