2024最新对比学习实战：解决小样本学习中的特征解耦难题

1次阅读

共计 1860 个字符，预计需要花费 5 分钟才能阅读完成。

在小样本学习场景中，模型往往因为训练数据不足而难以学习到鲁棒的特征表示。传统对比学习方法虽然能提升特征判别性，但在小批量（small batch size）情况下表现明显下降。以 MNIST 数据集为例，当每类仅提供 5 个样本时，模型容易将数字 ”3″ 和 ”8″ 的局部弯曲特征耦合在一起，导致测试时混淆率高达 23%。

这种现象的本质原因是：

特征耦合：模型倾向于学习表面相关性而非本质特征
负样本不足：小 batch 导致对比学习中的负样本多样性降低
梯度冲突：不同特征维度的更新方向相互干扰

通过引入可学习的特征权重矩阵 $W\in\mathbb{R}^{d\times k}$，其中 $d$ 是特征维度，$k$ 是解耦特征数。权重更新公式为：
$$w_{ij} = \frac{\exp(\alpha_{ij})}{\sum_{k}\exp(\alpha_{ik})}$$
其中 $\alpha$ 通过梯度反向传播学习。

利用 KL 散度衡量样本间相似性：
$$D_{KL}(p||q) = \sum_{i=1}^n p_i \log\frac{p_i}{q_i}$$
保留 KL 值大于阈值 $\tau$ 的样本作为高质量负样本。

原损失函数改进为：
$$L = -\log\frac{\exp(s_p/\tau)}{\exp(s_p/\tau)+\sum_{n=1}^N \mathbb{I}{D$$
其中 $\mathbb{I}$ 是指示函数。}>\tau}\exp(s_n/\tau)

import torch
import torch.nn.functional as F

class DecoupledContrastiveLoss(torch.nn.Module):
    def __init__(self, temp=0.1, kl_thresh=0.5):
        super().__init__()
        self.temp = temp
        self.thresh = kl_thresh
        # 此处采用 Gumbel Softmax 解决不可导问题
        self.weight = torch.nn.Parameter(torch.randn(128, 10)) 

    def forward(self, features, labels):
        # 特征解耦
        weights = F.gumbel_softmax(self.weight, tau=1, hard=True)
        decoupled = features @ weights

        # 计算 KL 散度筛选负样本
        logits = decoupled @ decoupled.T / self.temp
        kl_div = F.kl_div(logits.softmax(dim=-1), logits.softmax(dim=-2))
        mask = (kl_div > self.thresh).float()

        # 改进的 InfoNCE 损失
        pos_mask = labels.unsqueeze(0) == labels.unsqueeze(1)
        neg_mask = ~pos_mask * mask

        exp_logits = torch.exp(logits) * neg_mask
        loss = -torch.log(torch.exp(logits[pos_mask].mean()) /
            (torch.exp(logits[pos_mask].mean()) + exp_logits.sum())
        )
        return loss

在 CIFAR-10 的 20-way 5-shot 设置下测试：