基于Best Match25语义检索的实战优化：从原始论文到生产环境

1次阅读

共计 1756 个字符，预计需要花费 5 分钟才能阅读完成。

在信息检索领域，传统的 TF-IDF 方法虽然简单有效，但存在明显的局限性。TF-IDF 主要考虑词频和逆文档频率，而忽略了词与词之间的语义关系。这使得检索结果往往停留在表面匹配层面，难以理解用户的真实意图。

Best Match25（BM25）算法正是为了解决这些问题而提出的。它通过引入文档长度归一化和词频饱和机制，显著提升了检索的准确性和相关性。BM25 要解决的核心问题包括：

如何更好地处理短文本和长文本的差异
如何避免高频词过度影响检索结果
如何更准确地反映词与文档之间的相关性

BM25 算法的核心计算公式如下：

score(D,Q) = Σ(i∈Q) IDF(q_i) * (f(q_i,D) * (k1 + 1)) / (f(q_i,D) + k1 * (1 - b + b * |D| / avgdl))

其中：
– D：文档
– Q：查询
– f(q_i,D)：词项 q_i 在文档 D 中的词频
– |D|：文档 D 的长度
– avgdl：文档集合的平均长度
– k1 和 b：可调参数

这个公式的精妙之处在于：

通过 (k1 + 1) 的乘数因子实现了词频的饱和效应，避免高频词过度影响结果
通过 b 参数控制文档长度归一化的程度
IDF 项保留了传统 TF-IDF 中逆文档频率的优势

在实际应用中，我们发现固定的 k1 和 b 参数难以适应不同领域和场景的需求。为此，我们实现了动态权重调整策略：

def dynamic_bm25(query, docs, initial_k1=1.2, initial_b=0.75):
    """
    动态调整 BM25 参数的实现
    :param query: 查询词
    :param docs: 文档列表
    :param initial_k1: 初始 k1 值
    :param initial_b: 初始 b 值
    :return: 排序后的文档及分数
    """
    # 计算平均文档长度
    avgdl = sum(len(d) for d in docs) / len(docs)

    # 根据查询长度动态调整参数
    query_len = len(query.split())
    k1 = initial_k1 * (1 + math.log(query_len + 1))
    b = initial_b * (1 - 0.1 * math.log(query_len + 1))

    # 计算 IDF
    idf = compute_idf(query, docs)

    # 计算每个文档的得分
    scores = []
    for doc in docs:
        score = 0
        for term in query.split():
            tf = doc.count(term)
            numerator = tf * (k1 + 1)
            denominator = tf + k1 * (1 - b + b * len(doc) / avgdl)
            score += idf[term] * (numerator / denominator)
        scores.append((doc, score))

    # 按分数降序排序
    return sorted(scores, key=lambda x: x[1], reverse=True)

为了处理大规模数据，我们设计了如图所示的分布式索引架构：

[客户端] → [负载均衡] → [查询解析器] → [索引分片 1]
                               ↘ [索引分片 2]
                               ↘ [索引分片 3]
                               ↘ [结果聚合器] → [排序模块] → [客户端]

关键设计点：
1. 索引按文档 ID 哈希分片
2. 每个分片独立计算局部 Top- K 结果
3. 结果聚合器合并并重新排序
4. 采用异步预加载机制减少延迟

我们在标准 TREC 数据集上进行了测试，结果如下：