语义检索实战：基于Best Match25原始论文的入门指南与实现解析

1次阅读

共计 1846 个字符，预计需要花费 5 分钟才能阅读完成。

信息检索技术从早期的布尔模型发展到现在的语义检索，经历了几个重要的阶段。布尔模型虽然简单直观，但缺乏对语义的理解，无法处理同义词、多义词等问题。而语义检索通过引入统计语言模型和向量空间模型，能够更好地理解用户的查询意图。Best Match25（BM25）算法作为语义检索的经典算法，在信息检索领域有着广泛的应用。

BM25 算法基于概率检索模型，其核心思想是通过计算查询词与文档的匹配程度来评估文档的相关性。算法的数学表达式如下：

$$
\text{score}(D, Q) = \sum_{i=1}^{n} \text{IDF}(q_i) \cdot \frac{f(q_i, D) \cdot (k_1 + 1)}{f(q_i, D) + k_1 \cdot (1 – b + b \cdot \frac{|D|}{\text{avgdl}})}
$$

其中：
– (D) 是文档，(Q) 是查询
– (q_i) 是查询中的第 (i) 个词
– (f(q_i, D)) 是词 (q_i) 在文档 (D) 中的频率
– (|D|) 是文档长度，(\text{avgdl}) 是平均文档长度
– (k_1) 和 (b) 是调节参数

BM25 通过引入文档长度归一化，解决了传统 TF-IDF 算法在长文档上的偏差问题。

下面我们用 Python 实现一个基础的 BM25 语义检索系统。

import math
from collections import defaultdict

class BM25:
    def __init__(self, k1=1.5, b=0.75):
        self.k1 = k1
        self.b = b
        self.documents = []
        self.avgdl = 0
        self.df = defaultdict(int)  # 词项文档频率
        self.idf = defaultdict(float)  # 逆文档频率

    def add_document(self, document):
        """添加文档到索引"""
        self.documents.append(document)
        self.avgdl = sum(len(d) for d in self.documents) / len(self.documents)

        # 更新词项文档频率
        unique_terms = set(document)
        for term in unique_terms:
            self.df[term] += 1

    def calculate_idf(self):
        """计算逆文档频率"""
        N = len(self.documents)
        for term, freq in self.df.items():
            self.idf[term] = math.log((N - freq + 0.5) / (freq + 0.5) + 1)

    def score(self, query, document):
        """计算查询与文档的相关性分数"""
        score = 0.0
        doc_len = len(document)
        term_freq = defaultdict(int)

        # 计算文档中词项频率
        for term in document:
            term_freq[term] += 1

        # 计算 BM25 分数
        for term in query:
            if term not in self.idf:
                continue
            tf = term_freq.get(term, 0)
            numerator = tf * (self.k1 + 1)
            denominator = tf + self.k1 * (1 - self.b + self.b * (doc_len / self.avgdl))
            score += self.idf[term] * (numerator / denominator)

        return score

在实际应用中，BM25 算法的性能优化可以从以下几个方面入手：