深入解析CLIP文本编码器：从原理到多模态应用实践

1次阅读

共计 1837 个字符，预计需要花费 5 分钟才能阅读完成。

在传统多模态应用中，文本和图像通常被分别处理成独立的向量表示，这导致两个关键问题：

语义鸿沟：文本描述 ” 一只戴墨镜的狗 ” 和对应图像可能在特征空间相距甚远
检索低效：基于关键词匹配的跨模态检索容易遗漏视觉语义相关但文本描述不同的内容

CLIP 的文本编码器采用改进版 Transformer 结构，与标准 BERT 的主要差异在于：

┌──────────────┐    ┌──────────────┐
│  文本输入     │    │  图像输入    │
└──────┬───────┘    └──────┬───────┘
       │                   │
┌──────▼───────┐    ┌──────▼───────┐
│ 文本编码器    │    │ 图像编码器   │
│ (12 层 Transformer) │    │ (ViT/ResNet) │
└──────┬───────┘    └──────┬───────┘
       │                   │
┌──────▼───────┐    ┌──────▼───────┐
│ 文本特征向量  │    │ 图像特征向量 │
│ (512 维)      │    │ (512 维)     │
└──────┬───────┘    └──────┬───────┘
       └─────────┬─────────┘
                 │
          ┌──────▼───────┐
          │ 对比学习损失  │
          │ (InfoNCE)   │
          └─────────────┘

from transformers import CLIPModel, CLIPProcessor
import torch
from typing import List

def get_text_embeddings(texts: List[str], 
    model_name: str = "openai/clip-vit-base-patch32",
    device: str = "cuda" if torch.cuda.is_available() else "cpu") -> torch.Tensor:
    """
    生成 CLIP 文本嵌入向量

    参数:
        texts: 输入文本列表
        model_name: CLIP 模型名称
        device: 计算设备

    返回:
        (batch_size, embedding_dim)的文本特征张量
    """
    try:
        # 加载模型和处理器
        model = CLIPModel.from_pretrained(model_name).to(device)
        processor = CLIPProcessor.from_pretrained(model_name)

        # 批处理输入（自动处理 padding）inputs = processor(
            text=texts, 
            return_tensors="pt", 
            padding=True, 
            truncation=True
        ).to(device)

        # 生成嵌入（禁用梯度计算节省内存）with torch.no_grad():
            text_features = model.get_text_features(**inputs)

        # 归一化处理（重要！）text_features = text_features / text_features.norm(dim=1, keepdim=True)

        return text_features.cpu()  # 移回 CPU 减少显存占用

    except Exception as e:
        print(f"Error in embedding generation: {str(e)}")
        raise