从原理到实践：bm25+向量语义混合检索在搜索系统中的实现与优化

1次阅读

没有评论

共计 2349 个字符，预计需要花费 6 分钟才能阅读完成。

在实际搜索场景中，我们常常面临两种主流检索方式的抉择：传统关键词检索（如 BM25）和现代向量语义检索。两者各有优劣：

BM25：基于词频和文档频率的统计方法，擅长处理精确关键词匹配，但对同义词、近义词等语义变化不敏感。例如搜索 ” 苹果手机 ” 时，可能错过包含 ”iPhone” 的文档。
向量检索：通过神经网络将文本映射为稠密向量，能捕捉语义相似性，但对专业术语或特定名称的精确匹配可能不足，且计算开销较大。

混合检索的核心价值在于结合两者的优势：利用 BM25 保证关键词匹配的精准度，同时通过向量检索扩展语义相关的文档，从而提升整体召回率和准确率。

优点：计算效率高、无需训练、对精确匹配效果好
缺点：无法处理语义扩展、受分词质量影响大

优点：能捕捉词语级语义关系
缺点：无法直接用于句子 / 文档级表示

优点：直接生成句子级表示、语义捕捉能力强
缺点：计算资源消耗大、需要微调

为何选择混合方案：BM25 提供基础相关性保障，向量检索补充语义扩展能力，两者互补可以覆盖更全面的检索需求。

分别构建 BM25 索引和向量索引
对查询同时进行两种检索
标准化两种方法的分数
按权重合并结果
重排序后返回最终结果

from rank_bm25 import BM25Okapi
from sentence_transformers import SentenceTransformer
import numpy as np
import faiss

class HybridRetriever:
    def __init__(self, docs):
        # BM25 初始化
        tokenized_docs = [doc.split() for doc in docs]
        self.bm25 = BM25Okapi(tokenized_docs)

        # 向量模型初始化
        self.model = SentenceTransformer('paraphrase-multilingual-MiniLM-L12-v2')
        self.doc_embeddings = self.model.encode(docs)

        # FAISS 索引
        self.index = faiss.IndexFlatIP(self.doc_embeddings.shape[1])
        self.index.add(self.doc_embeddings)

    def search(self, query, bm25_weight=0.5, top_k=10):
        # BM25 检索
        tokenized_query = query.split()
        bm25_scores = self.bm25.get_scores(tokenized_query)

        # 向量检索
        query_embedding = self.model.encode([query])
        D, I = self.index.search(query_embedding, top_k)
        vector_scores = np.zeros(len(bm25_scores))
        for i, idx in enumerate(I[0]):
            vector_scores[idx] = D[0][i]

        # 分数标准化
        bm25_scores_norm = (bm25_scores - bm25_scores.min()) / (bm25_scores.max() - bm25_scores.min())
        vector_scores_norm = (vector_scores - vector_scores.min()) / (vector_scores.max() - vector_scores.min())

        # 混合分数
        combined_scores = bm25_weight * bm25_scores_norm + (1 - bm25_weight) * vector_scores_norm
        sorted_indices = np.argsort(combined_scores)[::-1][:top_k]

        return sorted_indices, combined_scores[sorted_indices]