基于CMC对比学习算法的推荐系统优化实践

1次阅读

共计 2451 个字符，预计需要花费 7 分钟才能阅读完成。

在推荐系统中，用户和物品的表征学习（Representation Learning）是核心任务。然而，实际场景中常面临两大挑战：

数据稀疏性（Data Sparsity）：用户 - 物品交互矩阵通常极度稀疏（99% 以上为空），导致传统协同过滤（Collaborative Filtering）难以学习有效表征。例如，某电商平台 100 万用户中，单个用户平均仅交互过数十个商品。
冷启动问题（Cold Start）：新用户 / 物品缺乏历史交互数据，基于相似度的推荐方法（如 BPR、NCF）效果急剧下降。据统计，推荐系统 30% 的流量来自长尾（Long Tail）内容。

对比学习（Contrastive Learning）通过拉近正样本对、推开负样本对学习表征。CMC（Contrastive Multiview Coding）是其多视图扩展，相比传统方法优势明显：

方法	优点	缺点
BPR	适合隐式反馈	对负采样敏感
NCF	融合深度网络	需大量交互数据
CMC	稀疏数据鲁棒性强	计算复杂度略高

损失函数设计（温度系数 τ 控制分布平滑度）：

\mathcal{L}_{CMC} = -\log\frac{\exp(sim(z_i,z_j)/\tau)}{\sum_{k=1}^N \exp(sim(z_i,z_k)/\tau)}

# 带重要性采样（Importance Sampling）的负采样
class ContrastiveDataset(Dataset):
    def __init__(self, user_items, neg_ratio=5):
        self.user_items = user_items
        self.neg_ratio = neg_ratio

    def __getitem__(self, idx):
        user = self.user_items[idx][0]
        pos = self.user_items[idx][1]

        # 基于流行度的负采样（避免热门商品主导）negs = []
        for _ in range(self.neg_ratio):
            while True:
                neg = random.randint(0, item_size-1)
                if neg not in self.user_items[user]:
                    negs.append(neg)
                    break
        return user, pos, torch.LongTensor(negs)

class DualTower(nn.Module):
    def __init__(self, user_dim, item_dim, hidden=256, temp=0.1):
        super().__init__()
        self.user_tower = nn.Sequential(nn.Embedding(user_size, user_dim),
            nn.Linear(user_dim, hidden),
            nn.ReLU())
        self.item_tower = nn.Sequential(nn.Embedding(item_size, item_dim),
            nn.Linear(item_dim, hidden),
            nn.ReLU())
        self.tau = temp  # 温度系数 τ

    def forward(self, user, pos, negs):
        u_emb = self.user_tower(user)  # [B,H]
        p_emb = self.item_tower(pos)   # [B,H]
        n_emb = self.item_tower(negs)  # [B,K,H]

        # 计算对比损失
        pos_sim = F.cosine_similarity(u_emb, p_emb, dim=-1) / self.tau
        neg_sim = torch.einsum('bh,bkh->bk', u_emb, n_emb) / self.tau
        logits = torch.cat([pos_sim.unsqueeze(1), neg_sim], dim=1)
        labels = torch.zeros(logits.shape[0], dtype=torch.long)
        return F.cross_entropy(logits, labels)

optimizer.zero_grad()
for i, (user, pos, negs) in enumerate(train_loader):
    loss = model(user, pos, negs)
    loss = loss / accumulation_steps  # 梯度累积
    loss.backward()

    if (i+1) % accumulation_steps == 0:
        optimizer.step()
        optimizer.zero_grad()

batch size	AUC 变化	训练时间
256	+8.2%	1x
512	+10.1%	0.9x
1024	+12.3%	0.7x

结论：适当增大 batch size 能提升 InfoNCE 损失稳定性，但超过 1024 后显存消耗剧增。

scaler = torch.cuda.amp.GradScaler()

with torch.cuda.amp.autocast():
    loss = model(user, pos, negs)
scaler.scale(loss).backward()
scaler.step(optimizer)
scaler.update()