CMAE掩码对比学习在推荐系统中的实践与优化

1次阅读

共计 2267 个字符，预计需要花费 6 分钟才能阅读完成。

推荐系统面临的核心挑战之一是用户行为数据的稀疏性和噪声问题。传统方法如协同过滤（CF）和矩阵分解（MF）虽然简单易用，但在处理稀疏数据时表现不佳，尤其是冷启动场景下效果有限。此外，这些方法通常依赖于显式反馈（如评分），而忽略了隐式反馈（如点击、浏览）中的丰富信息。

为了解决这些问题，近年来对比学习（Contrastive Learning）和掩码自编码器（Masked Autoencoder, MAE）的结合——CMAE（Contrastive Masked Autoencoder）逐渐受到关注。CMAE 通过掩码策略和对比损失函数的设计，能够更好地利用稀疏数据，提升模型的表征能力。

协同过滤（CF）：基于用户 - 物品交互矩阵，通过相似用户或物品进行推荐。优点是简单直观，但缺点是难以处理稀疏数据，且无法利用隐式反馈。
矩阵分解（MF）：将用户 - 物品交互矩阵分解为低维向量，通过内积预测评分。优点是计算高效，但同样面临稀疏数据问题，且对隐式反馈的建模能力有限。
CMAE：结合了对比学习和掩码自编码器的优势，通过掩码策略生成负样本，利用对比损失函数优化表征学习。CMAE 能够更好地捕捉隐式反馈中的信息，且在稀疏数据场景下表现优异。

CMAE 的核心是一个编码器 - 解码器结构，编码器将输入的用户行为序列映射为低维向量，解码器通过掩码策略重构原始序列。对比学习部分则通过对比正负样本优化表征。

掩码策略是 CMAE 的关键，常见的掩码方式包括：

随机掩码：随机选择部分行为进行掩码。
基于重要性的掩码：根据行为的重要性（如点击频率）进行加权掩码。

对比损失函数的设计目标是拉近正样本对的表征距离，推远负样本对的表征距离。常用的对比损失函数包括 InfoNCE 和 NT-Xent。

以下是一个简化的 PyTorch 实现示例：

import torch
import torch.nn as nn
import torch.optim as optim

class CMAE(nn.Module):
    def __init__(self, input_dim, hidden_dim):
        super(CMAE, self).__init__()
        self.encoder = nn.Sequential(nn.Linear(input_dim, hidden_dim),
            nn.ReLU(),
            nn.Linear(hidden_dim, hidden_dim)
        )
        self.decoder = nn.Sequential(nn.Linear(hidden_dim, hidden_dim),
            nn.ReLU(),
            nn.Linear(hidden_dim, input_dim)
        )

    def forward(self, x, mask):
        masked_x = x * mask
        encoded = self.encoder(masked_x)
        decoded = self.decoder(encoded)
        return encoded, decoded

# 数据预处理
def preprocess_data(data):
    # 假设 data 是用户行为序列
    mask = torch.bernoulli(torch.ones_like(data) * 0.8)  # 随机掩码
    return data, mask

# 训练循环
def train(model, data_loader, optimizer, epochs):
    criterion = nn.MSELoss()
    contrastive_loss = nn.CrossEntropyLoss()
    for epoch in range(epochs):
        for batch in data_loader:
            x, mask = preprocess_data(batch)
            encoded, decoded = model(x, mask)
            # 重构损失
            recon_loss = criterion(decoded, x)
            # 对比损失（简化版）logits = torch.matmul(encoded, encoded.T)
            labels = torch.arange(encoded.size(0))
            cont_loss = contrastive_loss(logits, labels)
            # 总损失
            loss = recon_loss + cont_loss
            optimizer.zero_grad()
            loss.backward()
            optimizer.step()

我们在公开数据集 MovieLens 和 Amazon Reviews 上测试了 CMAE 的性能，对比基线方法包括 CF 和 MF。结果显示，CMAE 在召回率（Recall@10）和 NDCG@10 上均显著优于基线方法，尤其在稀疏数据场景下优势更为明显。