深入解析BEIR基准测试：信息检索系统的评估利器

1次阅读

共计 1980 个字符，预计需要花费 5 分钟才能阅读完成。

信息检索系统的评估一直是自然语言处理领域的重要课题。传统的评估方法如 TREC 系列评测虽然经典，但存在数据集规模小、任务单一等问题。而实际应用中，我们需要评估模型在多种场景下的泛化能力。BEIR（Benchmarking IR）应运而生，它是一个统一的、任务无关的评估框架，旨在全面衡量信息检索系统在零样本（zero-shot）场景下的性能。

BEIR 由 Thakur 等人在 2021 年提出，包含了 18 个不同的信息检索数据集，涵盖问答、事实核查、对话检索等多种任务。它的设计初衷是解决评估中的两个核心问题：模型在不同任务间的泛化能力，以及评估过程的标准化。

BEIR 包含 18 个数据集，可分为以下几类：

事实检索：如 FEVER、Climate-FEVER
问答：如 MS MARCO、NQ
生物医学：如 BioASQ
对话检索：如 SCIDOCS

这些数据集涵盖了从通用领域到专业领域的多种检索场景，确保了评估的全面性。

BEIR 主要使用以下几个关键指标：

nDCG@10：衡量前 10 个结果的排名质量，是 BEIR 的主要指标
Recall@100：考察系统在前 100 个结果中召回相关文档的能力
MAP：平均准确率，衡量整体排名质量
MRR：首个相关结果的倒数排名

这些指标共同构成了对检索系统的多角度评估。其中 nDCG@10 最为重要，因为它平衡了排名质量和实际应用场景（用户通常只关注前几页结果）。

首先需要安装 BEIR 库：

pip install beir

以下是加载 MS MARCO 数据集并评估的示例代码：

from beir import util
from beir.datasets.data_loader import GenericDataLoader
from beir.retrieval.evaluation import EvaluateRetrieval
from beir.retrieval.search.dense import DenseRetrievalExactSearch as DRES
from beir.retrieval import models

# 下载并加载数据集
url = "https://public.ukp.informatik.tu-darmstadt.de/thakur/BEIR/datasets/msmarco.zip"
out_dir = "./datasets"
data_path = util.download_and_unzip(url, out_dir)
corpus, queries, qrels = GenericDataLoader(data_path).load(split="test")

# 初始化模型（这里以 Sentence-BERT 为例）model = DRES(models.SentenceBERT("bert-base-uncased"))
retriever = EvaluateRetrieval(model)

# 执行检索
results = retriever.retrieve(corpus, queries)

# 评估
ndcg, _map, recall, precision = retriever.evaluate(qrels, results, retriever.k_values)
print(f"nDCG@10: {ndcg['NDCG@10']:.4f}")
print(f"Recall@100: {recall['Recall@100']:.4f}")

不同模型在 BEIR 上的表现差异明显。根据 BEIR 论文的基准测试：