CLIP编码器与对比学习：从零构建跨模态理解模型

1次阅读

共计 2523 个字符，预计需要花费 7 分钟才能阅读完成。

传统单模态模型（如 CNN 处理图像、BERT 处理文本）面临的核心矛盾是： 特征空间不一致 。例如用 ResNet 提取的图像特征和 BERT 提取的文本特征，就像中文和俄语——没有统一的 ” 语言 ” 标准。这导致在实际业务中：

电商场景无法准确匹配用户搜索文本与商品图片
医疗影像报告生成时容易出现图文不一致
视频内容审核依赖人工规则补充语义

方法类型	代表模型	核心缺陷
特征拼接	VQA 模型	需要成对标注数据
中间表示对齐	UNITER	模态间交互计算成本高
对比学习	CLIP	只需弱关联的图文对

CLIP 的双塔结构（如图 1）巧妙地将问题转化为： 让匹配的图文特征在向量空间中靠近，不匹配的远离 。这就像教 AI 玩 ” 找朋友 ” 游戏——不用解释什么是朋友，只需要告诉它谁和谁应该站在一起。

# 图像编码器（简化版 ResNet50）class ImageEncoder(nn.Module):
    def __init__(self):
        super().__init__()
        self.cnn = torchvision.models.resnet50(pretrained=True)
        self.cnn.fc = nn.Linear(2048, 512)  # 统一映射到 512 维

    def forward(self, x):
        return F.normalize(self.cnn(x), dim=1)  # L2 归一化是关键！# 文本编码器（简化版 BERT）class TextEncoder(nn.Module):
    def __init__(self):
        super().__init__()
        self.bert = BertModel.from_pretrained('bert-base-uncased')
        self.proj = nn.Linear(768, 512)  # 与图像维度对齐

    def forward(self, input_ids, attention_mask):
        outputs = self.bert(input_ids, attention_mask=attention_mask)
        return F.normalize(self.proj(outputs.last_hidden_state[:, 0]), dim=1)

数学形式（含温度系数 τ）：

$$
\mathcal{L} = -\frac{1}{N}\sum_{i=1}^N \log\frac{\exp(\mathbf{v}i^\top\mathbf{t}_i / \tau)}{\sum
$$}^N \exp(\mathbf{v}_i^\top\mathbf{t}_j / \tau)

代码实现关键点：

def info_nce_loss(image_emb, text_emb, temperature=0.07):
    # 计算相似度矩阵
    logits = torch.matmul(image_emb, text_emb.T) / temperature

    # 对角线位置是正样本对
    labels = torch.arange(logits.shape[0], device=image_emb.device)

    # 对称式计算两个方向的 loss
    loss_i = F.cross_entropy(logits, labels)
    loss_t = F.cross_entropy(logits.T, labels)
    return (loss_i + loss_t) / 2

当 batch_size 较小时，可以：

使用内存库（Memory Bank）存储历史特征
采用动量编码器生成一致性更高的负样本
对文本使用 BM25 算法筛选困难负样本

scaler = torch.cuda.amp.GradScaler()

with torch.cuda.amp.autocast():
    image_emb = image_encoder(images)
    text_emb = text_encoder(input_ids, attention_mask)
    loss = info_nce_loss(image_emb, text_emb)

scaler.scale(loss).backward()
scaler.step(optimizer)
scaler.update()

现象：当 τ 过小时，模型对所有样本输出相似度趋近 1
调试策略：
初始设为 0.07（CLIP 论文推荐值）
监控损失值变化曲线，理想情况应平稳下降
如果损失震荡剧烈，适当增大 τ

当数据存在错误图文对时：

使用 CleanCLIP 提出的噪声鲁棒损失：
$$
\mathcal{L}{robust} = \frac{1}{\tau + \tau
$$}} \mathcal{L}_{CLIP
加入模态内对比学习（Intra-modal Contrast）

@app.post("/search")
def search(text: str, top_k: int = 5):
    # 文本编码
    inputs = tokenizer(text, return_tensors="pt")
    text_emb = text_encoder(**inputs).cpu().numpy()

    # 计算与所有图片的相似度
    scores = image_embeddings @ text_emb.T
    indices = np.argsort(scores.ravel())[-top_k:][::-1]

    return {"results": [image_paths[i] for i in indices]}