基于BM25+语义相似度检索的高效文本搜索方案实战

1次阅读

共计 2244 个字符，预计需要花费 6 分钟才能阅读完成。

纯 BM25 算法（Best Match 25）作为传统搜索引擎的核心技术，其基于词频和逆文档频率的统计特性，在精确关键词匹配场景表现优异。但在实际业务中，我们通过测试集发现以下典型问题：

当用户查询 ” 苹果手机 ” 时，BM25 可能错过包含 ”iPhone” 但未出现 ” 苹果 ” 的文档（Recall/ 查全率仅 62%）
搜索 ” 儿童运动鞋 ” 时，结果中混入大量 ” 成人跑鞋 ” 内容（Precision/ 查准率下降约 35%）

测试环境：10 万条电商商品标题数据，Query 集合 200 条，评估指标为 Top10 结果准确率

算法	计算复杂度	语义理解	硬件需求	适用场景
BM25	O(n)	弱	CPU	关键词精确匹配
Word2Vec	O(n*k)	中等	CPU/GPU	短语级相似度
BERT	O(n*k^2)	强	GPU	长文本深度理解

若需毫秒级响应 → 选择 BM25
若 Query 长度 <5 词 → Word2Vec+BM25
若预算充足且需深度语义 → BERT+BM25

flowchart LR
    A[用户 Query] --> B{BM25 召回 Top1000}
    B --> C[向量化]
    C --> D{Faiss 精排 Top100}
    D --> E[返回结果]

# 环境依赖：# rank_bm25==0.2.1
# faiss-cpu==1.7.2
# sentence-transformers==2.2.2

from rank_bm25 import BM25Okapi
from sentence_transformers import SentenceTransformer
import faiss
import numpy as np

class HybridSearcher:
    def __init__(self, corpus):
        # 第一阶段：BM25 初始化
        tokenized_corpus = [doc.split() for doc in corpus]
        self.bm25 = BM25Okapi(tokenized_corpus)

        # 第二阶段：语义模型加载
        self.model = SentenceTransformer('paraphrase-MiniLM-L6-v2')
        self.index = faiss.IndexFlatIP(384)  # 向量维度

        # 构建双索引
        self.doc_vectors = self.model.encode(corpus)
        self.index.add(self.doc_vectors)

    def search(self, query, k1=1.5, b=0.75, top_k=10):
        # BM25 召回
        bm25_scores = self.bm25.get_scores(query.split())
        candidate_ids = np.argsort(bm25_scores)[-1000:][::-1]

        # 语义精排
        query_vec = self.model.encode([query])
        D, I = self.index.search(query_vec, k=top_k)

        # 混合评分（权重可调）hybrid_scores = 0.6*D[0] + 0.4*bm25_scores[I[0]]
        final_ids = I[0][np.argsort(hybrid_scores)[::-1]]

        return final_ids

BM25 调参 ：
k1：控制词频饱和度（默认 1.2-2.0）
b：调节文档长度影响（0= 禁用，1= 完全启用）
相似度阈值 ：
建议 cosine>0.6 判定为相关
可基于业务数据分布调整

索引类型	内存占用	构建时间
BM25 倒排索引	1.2GB	45s
Faiss-IVF 索引	3.8GB	6min

阶段	平均耗时	P95 耗时	QPS
纯 BM25	28ms	63ms	120
混合方案	89ms	142ms	45

语料预处理：
统一简繁转换（如 opencc）
同义词扩展（” 电脑 ”→” 计算机 ”）
停用词过滤需谨慎（可能影响 BM25）
向量模型选择：
轻量级推荐：paraphrase-MiniLM-L6-v2
高精度可选：all-mpnet-base-v2

# 使用线程锁保护 Faiss 索引
import threading
class ThreadSafeSearcher(HybridSearcher):
    def __init__(self, corpus):
        super().__init__(corpus)
        self.lock = threading.Lock()

    def search(self, query):
        with self.lock:
            return super().search(query)