Bradley-Terry损失函数详解：从原理到Python实战

1次阅读

没有评论

共计 2210 个字符，预计需要花费 6 分钟才能阅读完成。

在推荐系统和竞技排名等场景中，我们经常遇到 成对比较数据（pairwise comparison）。比如：

电商平台记录用户点击商品 A 而非商品 B 的行为
围棋 AI 评估不同走法间的胜负关系
搜索引擎对比文档对的相关性

这类数据的核心特点是 相对判断——我们只知道 A 比 B 好，但不知道具体好多少。Bradley-Terry 模型正是为这种场景设计的概率框架。

假设有 $n$ 个待比较项，每个项 $i$ 有隐含实力参数 $\theta_i$。Bradley-Terry 模型定义项 $i$ 战胜项 $j$ 的概率为：

$$
P(i > j) = \frac{e^{\theta_i}}{e^{\theta_i} + e^{\theta_j}}
$$

给定观察到的对战结果集合 $D={(i,j)}$，通过极大似然估计求解参数。对数似然函数为：

$$
\mathcal{L}(\theta) = \sum_{(i,j)\in D} \left[\theta_i – \log(e^{\theta_i} + e^{\theta_j}) \right]
$$

对应损失函数取负号：

$$
\mathcal{J}(\theta) = -\mathcal{L}(\theta)
$$

import torch
def build_pair_matrix(matches):
    """
    matches: List[Tuple[winner_idx, loser_idx]]
    返回: (n x n)矩阵，A[i,j]表示 i 战胜 j 的次数
    """
    n = max(max(i,j) for i,j in matches) + 1
    A = torch.zeros((n, n))
    for i,j in matches:
        A[i,j] += 1
    return A

class BradleyTerryLoss(torch.nn.Module):
    def forward(self, theta, pair_matrix):
        # theta: (n,) 参数向量
        # pair_matrix: (n,n) 对战矩阵

        # 避免数值溢出的 log-sum-exp 技巧
        max_theta = theta.max()
        theta_shifted = theta - max_theta

        # 计算所有 i,j 对的 log(exp(theta_i) + exp(theta_j))
        # 利用广播机制高效计算
        log_denominator = torch.log(torch.exp(theta_shifted.view(-1,1)) + \
                                   torch.exp(theta_shifted.view(1,-1))) + max_theta

        # 只保留有对战记录的位置
        mask = pair_matrix > 0
        log_likelihood = (theta.view(-1,1) - log_denominator)[mask].sum()

        return -log_likelihood

学习率与 L2 正则化存在协同效应：
强正则化时需要降低学习率
推荐初始学习率 0.01，正则化系数 0.1

# PyTorch Distributed 示例
model = torch.nn.Linear(n, 1)  # 简单映射到实力分
loss_fn = BradleyTerryLoss()
optimizer = torch.optim.Adam(model.parameters(), lr=0.01)

# 每个进程处理数据分片
for epoch in range(100):
    for batch in dataloader:
        local_theta = model(batch)
        loss = loss_fn(local_theta, batch.pair_matrix)
        loss.backward()
        optimizer.step()

症状：损失函数输出 NaN
解决方法：
使用前文的 log-sum-exp 技巧
对 theta 初始值做归一化（减去均值）
添加微小 epsilon（如 1e-8）到分母

使用 COO 格式存储对战矩阵
对未出现的配对不计算梯度

def top_k_accuracy(theta, test_pairs, k=3):
    """计算预测实力分 top- k 是否包含真实胜者"""
    correct = 0
    for i,j in test_pairs:
        pred_top_k = torch.topk(theta, k).indices
        correct += int(i in pred_top_k)
    return correct / len(test_pairs)