深入解析CLIP损失函数的表示方法：从理论到PyTorch实现

1次阅读

没有评论

共计 1505 个字符，预计需要花费 4 分钟才能阅读完成。

CLIP（Contrastive Language-Image Pretraining）通过对比学习实现了视觉与语言模态的联合表征，其成功的关键在于精心设计的损失函数。该函数需要同时处理：

图像和文本嵌入的空间对齐
负样本的对比强度控制
批量数据的并行计算效率

给定批量大小为 N 的图像特征 $I \in \mathbb{R}^{N×d}$ 和文本特征 $T \in \mathbb{R}^{N×d}$，相似度矩阵 $S \in \mathbb{R}^{N×N}$ 的计算包含两个关键操作：

特征归一化：$I_{norm} = I / |I|2$, $T = T / |T|_2$
余弦相似度：$S_{ij} = I_{norm}^i \cdot T_{norm}^j / \tau$

其中温度系数 $\tau$ 控制分布尖锐程度，经验值通常设在 0.01 到 0.1 之间。

损失函数由图像到文本和文本到图像两个方向构成：

$$
\mathcal{L}{I→T} = -\frac{1}{N}\sum
$$
$$
\mathcal{L}}^N \log\frac{e^{S_{ii}}}{\sum_{j=1}^N e^{S_{ij}}{T→I} = -\frac{1}{N}\sum
$$
最终损失为二者均值：$\mathcal{L} = (\mathcal{L}}^N \log\frac{e^{S_{ii}}}{\sum_{j=1}^N e^{S_{ji}}{I→T} + \mathcal{L})/2$

import torch
import torch.nn.functional as F

def clip_loss(image_features, text_features, temp=0.07):
    """
    Args:
        image_features: [N, d] tensor
        text_features: [N, d] tensor
        temp: temperature parameter
    """
    # 特征归一化
    image_norm = F.normalize(image_features, dim=-1)  # [N,d]
    text_norm = F.normalize(text_features, dim=-1)    # [N,d]

    # 相似度矩阵计算（数值稳定实现）logits = torch.matmul(image_norm, text_norm.t()) / temp  # [N,N]

    # 创建标签（对角线为匹配对）labels = torch.arange(logits.size(0), device=logits.device)  # [N]

    # 双向对比损失
    loss_i = F.cross_entropy(logits, labels)
    loss_t = F.cross_entropy(logits.t(), labels)
    return (loss_i + loss_t) / 2