基于Chroma实现Hybrid-Semantic混合语义检索的架构设计与实战

1次阅读

共计 2674 个字符，预计需要花费 7 分钟才能阅读完成。

在实际应用中，纯语义检索和传统关键词检索各有优劣。纯语义检索（Dense Retrieval）依赖于稠密向量（Dense Vectors）的相似度计算，能够捕捉语义层面的关联，但在处理长尾查询（Long-tail Queries）或专业术语时，往往因为训练数据不足而表现不佳。而传统的关键词检索（如 BM25）虽然效率高，但完全依赖词频统计，无法理解语义，导致检索结果缺乏上下文关联性。

例如，在医疗领域的检索系统中，用户查询“心脏疼痛”时，纯语义检索可能会漏掉包含“心绞痛”但未明确提及“心脏疼痛”的文档，而关键词检索则无法理解“心脏疼痛”和“心绞痛”的语义关联。

在构建混合语义检索系统时，我们需要一个既能高效存储和检索向量，又能灵活支持多模态数据的数据库。常见的向量数据库如 Faiss 和 Weaviate 各有特点：

Faiss：由 Facebook 开发，专注于高效的向量相似度搜索，适合大规模向量检索，但缺乏原生多模态支持。
Weaviate：支持语义检索和关键词检索的混合模式，但部署和运维成本较高。

相比之下，Chroma的优势在于：

轻量级：易于部署和集成，适合中小规模的应用场景。
原生多模态支持：不仅可以处理文本向量，还能支持图像、音频等其他模态的嵌入（Embeddings）。
灵活的 API：提供简洁的 Python 接口，便于快速实现混合检索逻辑。

混合语义检索的核心思想是结合稠密向量检索和稀疏向量（Sparse Vectors）检索的优势。以下是实现流程：

稠密向量生成：使用预训练模型（如sentence-transformers）将查询和文档转换为稠密向量。
稀疏向量生成：基于 BM25 算法，从查询和文档中提取关键词权重，生成稀疏向量。
联合打分：将稠密向量和稀疏向量的相似度得分加权融合，得到最终排序结果。

以下是 Python 代码示例：

from sentence_transformers import SentenceTransformer
from rank_bm25 import BM25Okapi
from chromadb import Client
import numpy as np

# 初始化模型和 Chroma 客户端
model = SentenceTransformer('all-MiniLM-L6-v2')
client = Client()
collection = client.create_collection('hybrid_search')

# 文档和查询示例
documents = ["心脏疼痛可能是心绞痛的症状", "高血压患者需定期监测血压"]
query = "心脏疼痛的原因"

# 生成稠密向量
dense_embeddings = model.encode(documents)
query_embedding = model.encode([query])[0]

# 生成稀疏向量（BM25）tokenized_docs = [doc.split() for doc in documents]
bm25 = BM25Okapi(tokenized_docs)
query_tokens = query.split()
bm25_scores = bm25.get_scores(query_tokens)

# 将向量存入 Chroma
collection.add(embeddings=[embedding.tolist() for embedding in dense_embeddings],
    documents=documents,
    ids=[str(i) for i in range(len(documents))]
)

# 混合检索
def hybrid_search(query, alpha=0.5):
    # 稠密检索
    results = collection.query(query_embeddings=[query_embedding.tolist()],
        n_results=2
    )
    dense_scores = results['distances'][0]

    # 稀疏检索
    query_tokens = query.split()
    sparse_scores = bm25.get_scores(query_tokens)

    # 混合打分
    hybrid_scores = alpha * np.array(dense_scores) + (1 - alpha) * sparse_scores
    sorted_indices = np.argsort(hybrid_scores)[::-1]

    return [documents[i] for i in sorted_indices]

# 测试
print(hybrid_search(query))

为了提高混合检索的效率，可以从以下几个方面优化：