共计 1637 个字符，预计需要花费 5 分钟才能阅读完成。

背景痛点

在构建检索系统时，纯语义检索虽然能够捕捉文本的深层含义，但在某些场景下表现不佳：

• 短文本检索：比如搜索 ”Python 多线程 ” 时，关键词 ”Python” 和 ” 多线程 ” 的共现频率比语义关系更重要
• 专业术语处理：像 ”BERT 模型 ” 这样的专有名词，语义检索可能将其泛化为一般语言模型概念
• 多模态场景：当查询包含代码片段、公式等非自然语言时，传统语义模型难以处理

对比实验显示，在 TechQA 数据集上：

• BM25 的 Recall@10 为 58.3%
• 纯向量检索的 Recall@10 为 49.7%
• 混合检索可达 68.1%

技术方案

架构设计

Chroma 的 Hybrid-Search 采用双路检索架构：

1. 稀疏检索通路：基于 TF-IDF 构建倒排索引
2. 稠密检索通路：使用 Sentence-BERT 生成 768 维向量，通过 HNSW 图索引加速
3. 融合层：对两路结果进行分数归一化后加权求和

核心算法

动态权重调整

根据查询长度自动调整权重：

def calc_hybrid_weights(query):
    word_count = len(query.split())
    # 短查询侧重关键词，长查询侧重语义
    sparse_weight = max(0.6, 1 - 0.05*word_count)  
    return {
        'sparse': sparse_weight,
        'dense': 1 - sparse_weight
    }

分数归一化

采用 Min-Max 归一化解决不同评分体系问题：

def normalize_scores(scores):
    min_score = min(scores)
    max_score = max(scores)
    return [(s - min_score) / (max_score - min_score + 1e-6) for s in scores]

代码实战

初始化 Collection

import chromadb

client = chromadb.Client()
collection = client.create_collection(
    name="hybrid_demo",
    metadata={"hnsw:space": "cosine"},
    embedding_function=sentence_transformer_ef,
    hybrid_search_enabled=True  # 关键参数
)

批量写入优化

使用异步接口提升吞吐量：

async def batch_upsert(docs):
    batch_size = 500
    tasks = []

    for i in range(0, len(docs), batch_size):
        batch = docs[i:i+batch_size]
        tasks.append(
            collection.upsert(
                documents=batch,
                embeddings=generate_embeddings(batch),
                ids=[str(uuid4()) for _ in batch]
            )
        )

    await asyncio.gather(*tasks)

生产考量

性能优化

冷启动方案

1. 初期数据量 <1 万时，仅启用稀疏检索
2. 数据增长后自动触发稠密索引构建
3. 通过后台任务预计算热门查询的混合结果

避坑指南

1. 维度校验：添加部署时检查

   assert embedding_dim == 768, \
       f"Embedding dim mismatch (got {embedding_dim}, expect 768)"

2. 延迟优化：

3. 设置 hnsw:ef_search=200 平衡速度与召回

4. 对稀疏检索启用缓存

5. 分数陷阱：

6. 避免直接相加原始分数
7. 不要忽略负分数的情况

开放问题

当查询包含 ”Transformer 注意力机制 ” 这类术语时，如何让系统自动提高稀疏检索权重？可能的思路包括：

• 基于领域词典的查询分类
• 使用 LLM 实时分析查询特性
• 动态学习不同 query type 的最优权重

混合检索不是简单 1 +1=2，需要根据业务场景持续调优。建议从 A / B 测试开始，逐步建立自己的权重策略库。