BPR损失函数详解：从原理到推荐系统实战

1次阅读

共计 2130 个字符，预计需要花费 6 分钟才能阅读完成。

在推荐系统中，我们常常需要为用户推荐他们可能感兴趣的商品。传统的 pointwise 方法（如均方误差）直接预测用户对商品的评分，但这种方法忽略了物品之间的相对顺序。而 BPR（Bayesian Personalized Ranking）是一种 pairwise 方法，它通过学习用户对不同物品的相对偏好来优化推荐排序。

Pointwise 方法 ：直接预测用户对单个物品的评分或点击概率
Pairwise 方法 ：比较一对物品，学习用户更偏好哪个物品
BPR 优势 ：更符合推荐场景的实际需求，因为用户通常是在多个物品间做选择

BPR 的优化目标基于以下贝叶斯公式：

$$
P(\theta | >_u) \propto P(>_u | \theta)P(\theta)
$$

其中：
– (>_u) 表示用户 u 的偏好关系
– (\theta) 是模型参数

具体推导过程：

定义用户 u 偏好物品 i 胜过物品 j 的概率：

$$
P(i >u j | \theta) = \sigma(\hat{x}(\theta))
$$

使用 sigmoid 函数表示概率：

$$
\sigma(x) = \frac{1}{1+e^{-x}}
$$

最终得到 BPR 的优化目标（损失函数）：

$$
\sum_{(u,i,j) \in D} -\ln \sigma(\hat{x}_{uij}) + \lambda |\Theta|^2
$$

以下是 PyTorch 实现的完整代码：

import torch
import torch.nn as nn
import numpy as np
from typing import List, Tuple

class BPRLoss(nn.Module):
    """BPR 损失函数实现"""
    def __init__(self, lambda_reg: float = 0.01):
        super().__init__()
        self.lambda_reg = lambda_reg

    def forward(self, 
                user_emb: torch.Tensor, 
                pos_emb: torch.Tensor, 
                neg_emb: torch.Tensor) -> torch.Tensor:
        """
        计算 BPR 损失

        参数:
            user_emb: 用户嵌入向量 [batch_size, emb_dim]
            pos_emb: 正样本嵌入向量 [batch_size, emb_dim]
            neg_emb: 负样本嵌入向量 [batch_size, emb_dim]

        返回:
            loss: 计算得到的 BPR 损失
        """
        # 计算正样本和负样本的得分差
        pos_scores = (user_emb * pos_emb).sum(dim=1)  # [batch_size]
        neg_scores = (user_emb * neg_emb).sum(dim=1)  # [batch_size]
        diff = pos_scores - neg_scores

        # 计算 BPR 损失
        bpr_loss = -torch.log(torch.sigmoid(diff)).mean()

        # 加入 L2 正则化
        l2_reg = self.lambda_reg * (torch.norm(user_emb, p=2) + 
            torch.norm(pos_emb, p=2) + 
            torch.norm(neg_emb, p=2)
        )

        return bpr_loss + l2_reg


def sample_negative_items(user_items: List[int], 
                         all_items: List[int], 
                         num_negatives: int = 1) -> List[int]:
    """
    负采样函数

    参数:
        user_items: 用户已经交互过的物品列表
        all_items: 所有物品列表
        num_negatives: 每个正样本对应的负样本数

    返回:
        采样的负物品列表
    """
    negatives = []
    user_item_set = set(user_items)

    for _ in range(num_negatives):
        neg_item = np.random.choice(all_items)
        while neg_item in user_item_set:
            neg_item = np.random.choice(all_items)
        negatives.append(neg_item)

    return negatives