Bradley-Terry损失函数原理剖析与机器学习实战指南

1次阅读

共计 2090 个字符，预计需要花费 6 分钟才能阅读完成。

在推荐系统和搜索引擎排序等场景中，我们常常需要处理用户对物品的偏好比较数据。Bradley-Terry 模型提供了一种优雅的方式将这些成对比较数据转化为可学习的评分。本文将带你深入理解这个模型的原理，并通过 PyTorch 实现一个完整的训练流程。

传统的评分模型通常使用均方误差 (MSE) 或交叉熵损失，但这些方法存在两个主要局限：

它们假设评分是绝对且独立的，忽视了比较数据中隐含的相对关系
当比较数据不对称时（比如 A 比 B 出现次数多），这些损失函数无法自动适应

Bradley-Terry 模型则专门为成对比较数据设计，其核心思想是：物品 i 被选中的概率取决于它与物品 j 的相对评分差。

模型定义两个物品 i 和 j 的比较结果为：

$$P(i > j) = \frac{e^{\theta_i}}{e^{\theta_i} + e^{\theta_j}}$$

其中 $\theta_i$ 和 $\theta_j$ 是需要学习的物品评分参数。这个公式实际上是逻辑函数的一种二元特例。

对应的负对数似然损失函数为：

$$\mathcal{L} = -\sum_{(i,j)\in D} [y_{ij}\log P(i > j) + (1-y_{ij})\log (1 – P(i > j))]$$

其中 $y_{ij}$ 是观察到的比较结果（1 表示 i 比 j 好，0 反之），D 是所有比较对的集合。

首先我们需要将原始数据转换为成对比较格式：

def create_pairs(ratings, threshold=4.0):
    """
    将用户评分转换为物品对
    ratings: 用户 - 物品评分矩阵
    返回: (item_i, item_j, label)三元组列表
    """
    pairs = []
    for u in range(ratings.shape[0]):
        pos_items = np.where(ratings[u] >= threshold)[0]
        neg_items = np.where(ratings[u] < threshold)[0]

        # 生成所有正负物品对
        for i in pos_items:
            for j in neg_items:
                pairs.append((i, j, 1))
    return torch.LongTensor(pairs)

class BradleyTerryLoss(nn.Module):
    def __init__(self):
        super().__init__()

    def forward(self, theta, pairs):
        """
        theta: 物品得分向量 (n_items,)
        pairs: 比较对张量 (n_pairs, 3)
        """
        i = pairs[:, 0]  # 形状 (n_pairs,)
        j = pairs[:, 1]  # 形状 (n_pairs,)
        y = pairs[:, 2].float()  # 形状 (n_pairs,)

        # 计算得分差
        diff = theta[i] - theta[j]  # 形状 (n_pairs,)

        # 计算对数概率
        loss = F.binary_cross_entropy_with_logits(diff, y, reduction='mean')

        return loss

关键是将所有张量移动到 GPU，并利用批处理：

device = torch.device('cuda' if torch.cuda.is_available() else 'cpu')

# 初始化参数和移动数据
n_items = 1000
theta = nn.Parameter(torch.zeros(n_items, device=device))
pairs = pairs.to(device)

# 使用更大的 batch_size 充分利用 GPU
loader = DataLoader(pairs, batch_size=1024, shuffle=True)

我们在 LETOR 数据集上对比了不同损失函数的性能：