BPR损失函数深度解析：从推荐系统原理到实践优化

1次阅读

没有评论

共计 2444 个字符，预计需要花费 7 分钟才能阅读完成。

在推荐系统领域，用户行为数据通常分为显式反馈（如评分、点赞）和隐式反馈（如点击、购买）。显式反馈直接表达了用户的偏好强度，而隐式反馈只记录了行为发生与否，缺乏明确的负面评价。这种特性带来了两个核心问题：

数据稀疏性 ：用户与物品的交互矩阵极度稀疏，大多数物品未被观测
负样本缺失 ：未交互物品不代表用户不喜欢，可能是尚未发现

传统交叉熵损失函数在处理隐式反馈时存在明显缺陷：

将未交互物品简单视为负样本，引入大量噪声
平等对待所有负样本，忽略了用户真实偏好差异
优化绝对概率而非相对排序，与推荐任务目标不一致

BPR(Bayesian Personalized Ranking) 通过贝叶斯方法建模用户对物品对的相对偏好。给定用户 $u$，正样本物品 $i$（已交互）和负样本物品 $j$（未交互），其优化目标是最大化后验概率：

$$ \prod_{(u,i,j)} P(i >_u j) \cdot P(\Theta) $$

其中 $i >_u j$ 表示用户 $u$ 对 $i$ 的偏好大于 $j$。使用 sigmoid 函数表示偏好概率：

$$ P(i >u j) = \sigma(\hat{x}}) = \frac{1}{1+e^{-(\hat{x{ui}-\hat{x} $$})}}

最终得到的目标函数（取负对数后）：

$$ \sum_{(u,i,j)} -\ln\sigma(\hat{x}{ui}-\hat{x}) + \lambda_\Theta||\Theta||^2 $$

关键优势在于：

只比较已观测和未观测物品的相对分差
自动学习用户个性化的排序准则
天然适合处理隐式反馈的稀疏数据

class BPRSampler:
    def __init__(self, interactions, n_negatives=5):
        self.user_items = defaultdict(list)
        self.all_items = set()

        for u, i in interactions:
            self.user_items[u].append(i)
            self.all_items.add(i)

        self.n_negatives = n_negatives

    def sample(self):
        users, pos_items, neg_items = [], [], []

        for u in self.user_items:
            # 对每个正样本，采样 n_negatives 个负样本
            for i in self.user_items[u]:
                for _ in range(self.n_negatives):
                    j = random.choice(list(self.all_items - set(self.user_items[u])))
                    users.append(u)
                    pos_items.append(i)
                    neg_items.append(j)

        return torch.LongTensor(users), torch.LongTensor(pos_items), torch.LongTensor(neg_items)

import torch.nn as nn
import torch.nn.functional as F

class BPRLoss(nn.Module):
    def __init__(self, lambda_reg=0.01):
        super().__init__()
        self.lambda_reg = lambda_reg

    def forward(self, user_emb, pos_emb, neg_emb):
        # 计算正负样本得分差
        pos_scores = (user_emb * pos_emb).sum(dim=1)
        neg_scores = (user_emb * neg_emb).sum(dim=1)
        diff = pos_scores - neg_scores

        # 计算 BPR 损失和 L2 正则
        bpr_loss = -F.logsigmoid(diff).mean()
        reg_loss = user_emb.norm(2) + pos_emb.norm(2) + neg_emb.norm(2)

        return bpr_loss + self.lambda_reg * reg_loss

关键参数说明：

lambda_reg：控制模型复杂度的 L2 正则化系数
n_negatives：每个正样本对应的负样本数量
推荐初始值：lambda_reg=0.01, n_negatives=3~5

损失函数	NDCG@10	Recall@20
交叉熵	0.312	0.198
BPR	0.357	0.224

实验设置：

使用 60% 用户历史数据训练，20% 验证，20% 测试
嵌入维度 d =64，批量大小 256
负采样比例 1:4（正: 负）

BPR 表现出显著优势：

NDCG 提升 14.4%
Recall 提升 13.1%
特别是在长尾物品推荐上效果更明显

热门降权 ：对热门物品采用 $\alpha$ 次方降权（$P(j) \propto popularity(j)^\alpha$，通常 $\alpha=0.75$）
动态采样 ：根据模型当前表现调整采样分布，对难负样本（模型误判为正）提高采样概率
批次内负采样 ：在同一批内共享负样本，减少计算开销