CLIP预训练技术解析：从多模态基础到实战应用

1次阅读

共计 2195 个字符，预计需要花费 6 分钟才能阅读完成。

CLIP（Contrastive Language-Image Pre-training）是 OpenAI 提出的多模态预训练模型，通过对比学习将图像和文本映射到同一语义空间。该技术突破了传统计算机视觉模型需要固定类别标签的限制，实现了开放词汇的零样本图像分类能力，在 arXiv:2103.00020 论文中被证明具有强大的跨模态理解能力。

CLIP 的核心是对比损失函数：
$$
\mathcal{L} = -\frac{1}{N}\left(\sum_{i=1}^N \log \frac{e^{\text{sim}(I_i,T_i)/\tau}}{\sum_{j=1}^N e^{\text{sim}(I_i,T_j)/\tau}} + \sum_{i=1}^N \log \frac{e^{\text{sim}(T_i,I_i)/\tau}}{\sum_{j=1}^N e^{\text{sim}(T_i,I_j)/\tau}}\right)
$$
其中 $\tau$ 为温度系数，$\text{sim}$ 为余弦相似度。该目标函数同时优化图像到文本和文本到图像两个方向的匹配程度。

图像编码器 ：可选 ViT 或 ResNet 架构
ViT 将图像分块后通过 Transformer 处理
ResNet 采用经典 CNN 结构提取特征
文本编码器 ：基于 Transformer 的文本模型
处理任意长度文本输入
输出固定维度的语义向量

使用 4 亿个互联网图像 - 文本对
超大 batch size（32768）
混合精度训练加速
渐进式学习率调整

import torch
import torch.nn as nn
from transformers import ViTModel

class ImageEncoder(nn.Module):
    def __init__(self, model_name='google/vit-base-patch16-224'):
        super().__init__()
        self.vit = ViTModel.from_pretrained(model_name)
        self.proj = nn.Linear(768, 512)  # 投影到统一维度

    def forward(self, x):
        outputs = self.vit(pixel_values=x)
        pooled_output = outputs.pooler_output
        return self.proj(pooled_output)

from transformers import BertModel, BertTokenizer

class TextEncoder(nn.Module):
    def __init__(self, model_name='bert-base-uncased'):
        super().__init__()
        self.bert = BertModel.from_pretrained(model_name)
        self.proj = nn.Linear(768, 512)

    def forward(self, input_ids, attention_mask):
        outputs = self.bert(
            input_ids=input_ids,
            attention_mask=attention_mask
        )
        pooled_output = outputs.pooler_output
        return self.proj(pooled_output)

def contrastive_loss(logits_per_image, logits_per_text, temperature=0.07):
    """
    logits_per_image: [batch_size, batch_size]
    logits_per_text: [batch_size, batch_size]
    """
    labels = torch.arange(len(logits_per_image))
    loss_i = nn.CrossEntropyLoss()(logits_per_image/temperature, labels)
    loss_t = nn.CrossEntropyLoss()(logits_per_text/temperature, labels)
    return (loss_i + loss_t)/2