CLIP损失函数默认温度系数详解：从理论到调参实践

1次阅读

没有评论

共计 1662 个字符，预计需要花费 5 分钟才能阅读完成。

CLIP 模型的核心是对比学习损失函数（InfoNCE），其目标是拉近匹配的图文特征距离，推开非匹配对。温度系数 τ 出现在 softmax 计算中：

$$\mathcal{L} = -\log\frac{e^{\text{sim}(x_i,y_i)/\tau}}{\sum_{j=1}^N e^{\text{sim}(x_i,y_j)/\tau}}$$

其中 τ 控制着特征相似度的离散程度：

τ 越小，分布越尖锐，模型更关注困难负样本
τ 越大，分布越平缓，梯度更新更温和

原始论文通过梯度分析得出最优 τ 应满足：

梯度幅值应与 batch size 无关
特征向量归一化后，相似度期望值为 $\mathbb{E}[\text{sim}]=\sqrt{d}$（d 为特征维度）

推导可得理想 τ 应正比于 $1/\sqrt{d}$。当 d =512 时：

$$\tau \approx \frac{1}{\sqrt{512}} \approx 0.07$$

def clip_loss(image_emb, text_emb, tau=0.07):
    # 特征归一化
    image_emb = F.normalize(image_emb, dim=-1)
    text_emb = F.normalize(text_emb, dim=-1)

    # 相似度矩阵
    logits = image_emb @ text_emb.T / tau  # [N,N]

    # 对称损失计算
    labels = torch.arange(len(logits)).to(logits.device)
    loss_i = F.cross_entropy(logits, labels)  # image->text
    loss_t = F.cross_entropy(logits.T, labels) # text->image

    return (loss_i + loss_t)/2

class AdaptiveTau(nn.Module):
    def __init__(self, init_tau=0.07, lr=1e-4):
        super().__init__()
        self.log_tau = nn.Parameter(torch.log(torch.tensor(init_tau)))
        self.optimizer = torch.optim.Adam([self.log_tau], lr=lr)

    def forward(self, image_emb, text_emb):
        tau = torch.exp(self.log_tau).clamp(0.01, 0.1)
        # ... 后续计算与固定版本相同...

    def update(self, loss):
        self.optimizer.zero_grad()
        loss.backward(retain_graph=True)
        self.optimizer.step()

在 ImageNet-1k 上测试不同 τ 值（batch_size=256）：