BHPC对比学习在推荐系统中的应用：解决数据稀疏性与冷启动问题

1次阅读

没有评论

共计 2243 个字符，预计需要花费 6 分钟才能阅读完成。

推荐系统长期受困于两个核心问题：数据稀疏性（Data Sparsity）和 冷启动（Cold Start）。以 MovieLens-1M 数据集为例，用户 - 物品交互矩阵的填充率不足 5%，数学上可表示为：

$$ \text{Sparsity} = 1 – \frac{|\mathcal{R}|}{|\mathcal{U}| \times |\mathcal{I}|} $$

传统协同过滤（Collaborative Filtering, CF）依赖用户 - 物品共现矩阵 $R_{ui}$，其预测评分通过相似度加权实现：

$$ \hat{r}{ui} = \frac{\sum\limits $$} \text{sim}(u,v) \cdot r_{vi} }{\sum\limits_{v \in N_i(u)} |\text{sim}(u,v)|

当新用户 / 物品缺乏交互数据时，CF 完全失效——这就是典型的 冷启动困境。

主流解决方案各有局限：

NCF（Neural Collaborative Filtering）：通过 MLP 学习用户 - 物品交互，但无法捕捉高阶关系
LightGCN：简化 GCN 的邻域聚合，但单边建模忽略异构信息

BHPC（Bilateral High-order Proximity Contrastive Learning）的创新在于：

双边建模：同时构建用户 - 用户和物品 - 物品相似图
高阶相似性：通过随机游走生成 $k$-hop 邻域关系
对比学习：利用 InfoNCE 损失拉近正样本对距离

数学上，高阶相似性通过转移矩阵幂次实现：

$$ S^{(k)} = \alpha S^{(k-1)}A + (1-\alpha)S^{(0)} $$

import torch
from torch_geometric.data import HeteroData

# 初始化异构图数据结构
data = HeteroData()

# 添加节点类型与特征
data['user'].x = torch.randn(num_users, embedding_dim)
data['item'].x = torch.randn(num_items, embedding_dim)

# 添加边索引 (COO 格式)
data['user', 'interacts', 'item'].edge_index = torch.LongTensor([[u1, u2,...], [i1, i2,...]])

from torch_sparse import SparseTensor

# 构建稀疏转移矩阵
adj = SparseTensor(row=edge_index[0], col=edge_index[1], 
                   sparse_sizes=(num_nodes, num_nodes))

# 迭代计算 k -hop 关系
k_hop_adj = adj
for _ in range(k-1):
    k_hop_adj = k_hop_adj @ adj  # 稀疏矩阵乘法优化

def info_nce_loss(anchor_emb, pos_emb, neg_emb, temperature=0.1):
    # 正样本相似度
    pos_logits = (anchor_emb * pos_emb).sum(dim=-1) / temperature

    # 负样本相似度
    neg_logits = (anchor_emb @ neg_emb.T) / temperature

    # 联合优化
    logits = torch.cat([pos_logits.unsqueeze(1), neg_logits], dim=1)
    labels = torch.zeros(logits.shape[0], dtype=torch.long)

    return F.cross_entropy(logits, labels)

在 MovieLens-1M 上的关键发现：

负样本比例	Recall@10	GPU 显存占用
1:5	0.182	3.2GB
1:10	0.201	4.8GB
1:20	0.213	OOM

显存优化策略：

使用梯度检查点（Gradient Checkpointing）
采用混合精度训练（AMP）
分批次计算负样本相似度

错误做法：直接使用原始 ID 作为节点索引
正确方案：建立全局唯一的映射字典

user_mapping = {raw_id: idx for idx, raw_id in enumerate(user_ids)}
item_mapping = {raw_id: idx for idx, raw_id in enumerate(item_ids)}

经验值范围：0.05~0.5
监控指标：正负样本相似度分布的 KL 散度

# 使用 DDP 包装模型
model = DistributedDataParallel(
    model,
    device_ids=[local_rank],
    output_device=local_rank
)

# 梯度同步控制
with model.no_sync():  # 仅在特定层同步
    loss.backward()

当用户行为数据存在 时序漂移（Temporal Drift）时，当前架构可能面临表征失效。可能的改进方向：