BM25与向量数据库：如何结合传统检索与现代语义搜索提升查询效果

1次阅读

没有评论

共计 2117 个字符，预计需要花费 6 分钟才能阅读完成。

在信息检索领域，BM25 一直是一个经典的算法，特别擅长处理精确匹配的查询。它基于词频和逆文档频率来评分，对于关键词匹配效果非常好。然而，随着应用场景的复杂化，BM25 在处理语义相似性方面的局限性逐渐显现。

语义鸿沟问题：BM25 无法理解词语的语义关系，比如搜索 ” 苹果 ” 时，不会联想到 ”iPhone” 或 ”Mac”。
同义词挑战：对于 ” 汽车 ” 和 ” 轿车 ” 这种同义词，BM25 会视为完全不同的词汇。
上下文缺失：无法理解词语在不同上下文中的含义变化。

优势：
计算效率高，响应速度快
不需要预先训练模型
对于精确匹配查询效果极佳
局限：
无法处理语义相似性
对拼写错误和变体敏感
难以捕捉长文档的整体语义

优势：
能够理解语义相似性
对同义词和上下文变化有更好的处理
可以捕捉文档的整体语义
局限：
计算成本较高
需要预先训练好的嵌入模型
对精确匹配可能不如 BM25 敏感

结合 BM25 和向量检索的优势，我们可以设计一个混合检索系统：

并行查询：同时使用 BM25 和向量检索查询文档
结果融合：将两种方法的结果按照一定权重合并
重排序：对合并后的结果进行最终排序

权重分配策略可以采用静态权重或动态调整的方式。一个简单的静态权重方案是：

final_score = α * bm25_score + (1-α) * vector_score

其中 α 是一个可调参数，通常通过实验确定最佳值。

下面是一个使用 Python 结合 BM25 和 Faiss 向量数据库的示例：

import faiss
from rank_bm25 import BM25Okapi
from sentence_transformers import SentenceTransformer

# 初始化模型
model = SentenceTransformer('all-MiniLM-L6-v2')

# 准备数据
documents = ["文档 1 内容", "文档 2 内容", ...]  # 你的文档集合

# BM25 部分
tokenized_docs = [doc.split(" ") for doc in documents]
bm25 = BM25Okapi(tokenized_docs)

# 向量数据库部分
doc_embeddings = model.encode(documents)
dimension = doc_embeddings.shape[1]
index = faiss.IndexFlatIP(dimension)
index.add(doc_embeddings)

# 混合查询函数
def hybrid_search(query, alpha=0.5, top_k=10):
    # BM25 查询
    tokenized_query = query.split(" ")
    bm25_scores = bm25.get_scores(tokenized_query)
    bm25_scores = (bm25_scores - bm25_scores.min()) / (bm25_scores.max() - bm25_scores.min())

    # 向量查询
    query_embedding = model.encode([query])
    D, I = index.search(query_embedding, top_k)
    vector_scores = D[0]

    # 合并结果
    combined_scores = alpha * bm25_scores + (1 - alpha) * vector_scores

    # 获取最终排序
    final_ranking = sorted(zip(range(len(documents)), combined_scores), 
                          key=lambda x: x[1], reverse=True)[:top_k]

    return [documents[i] for i, _ in final_ranking]

我们在一个新闻数据集上对比了三种方法的性能：