Chroma混合语义检索实现解析：从技术选型到生产环境部署

1次阅读

共计 2678 个字符，预计需要花费 7 分钟才能阅读完成。

传统信息检索系统通常采用以下两种方式之一：

关键词搜索：基于精确匹配或 TF-IDF 等统计方法，对文档中的关键词进行匹配。优势是速度快、实现简单，但对同义词、近义词和语义关联性处理能力弱。
语义搜索：基于词向量或 Transformer 模型（如 BERT），能够理解查询的语义，但对专业术语、精确名称的匹配可能不够准确，且计算开销较大。

在实际应用中，单一检索方式往往无法满足复杂场景的需求。例如，在电商搜索中，用户可能同时输入产品名称（关键词）和功能描述（语义），单一方式难以兼顾两者的优势。

检索方式	优点	缺点
关键词搜索	速度快，适合精确匹配	无法处理语义关联性
语义搜索	理解查询意图，支持模糊匹配	计算开销大，对精确名称匹配弱

Chroma 的 hybrid-semantic 检索结合了两者的优势：

关键词检索 用于快速过滤候选文档（如产品名称、ID 等）。
语义检索 用于对过滤后的文档进行语义相关性排序。

Chroma 的混合检索实现主要包括以下组件：

索引层：
关键词索引：使用倒排索引（Inverted Index）加速关键词匹配。
向量索引：使用 HNSW（Hierarchical Navigable Small World）图结构存储文档向量，支持近似最近邻搜索。
检索流程：
查询解析：将用户输入拆分为关键词部分和语义部分。
混合检索：先通过关键词索引过滤文档，再对结果进行语义排序。
结果合并：根据权重合并两类检索结果（如加权分数或重新排序）。
算法选择：
关键词权重：BM25 算法（优于 TF-IDF，考虑文档长度归一化）。
语义模型：Sentence-BERT 或 OpenAI Embeddings，平衡效果与计算成本。

以下是一个基于 Chroma 实现混合检索的 Python 示例：

import chromadb
from sentence_transformers import SentenceTransformer

# 初始化 Chroma 客户端
client = chromadb.Client()
collection = client.create_collection("hybrid_search")

# 加载语义模型
model = SentenceTransformer('all-MiniLM-L6-v2')

# 添加文档（包含文本和元数据）documents = [
    "Chroma is a vector database for embeddings",
    "Hybrid search combines keyword and semantic search",
    "BM25 is a popular keyword ranking algorithm"
]
metadata = [{"type": "technical"}, {"type": "overview"}, {"type": "algorithm"}]

# 生成向量并存入 Chroma
embeddings = model.encode(documents)
collection.add(embeddings=embeddings.tolist(),
    documents=documents,
    metadatas=metadata,
    ids=["doc1", "doc2", "doc3"]
)

# 混合检索函数
def hybrid_search(query, keyword_filter=None):
    # 语义搜索
    query_embedding = model.encode([query])[0].tolist()
    semantic_results = collection.query(query_embeddings=[query_embedding],
        n_results=10
    )

    # 关键词搜索（可选过滤）keyword_results = collection.query(query_texts=[query],
        where=keyword_filter,  # 如{"type": "technical"}
        n_results=10
    )

    # 合并结果（示例：简单加权）combined = {}
    for doc, score in zip(semantic_results['documents'][0], semantic_results['distances'][0]):
        combined[doc] = score * 0.7  # 语义权重 70%
    for doc, score in zip(keyword_results['documents'][0], keyword_results['distances'][0]):
        combined[doc] = combined.get(doc, 0) + score * 0.3  # 关键词权重 30%

    # 按总分排序
    return sorted(combined.items(), key=lambda x: x[1], reverse=True)

# 示例查询
print(hybrid_search("What is hybrid search?"))