从零构建高效向量检索系统：chrom向量数据库使用实战指南

1次阅读

没有评论

共计 2253 个字符，预计需要花费 6 分钟才能阅读完成。

在处理现代 AI 应用时，我们经常遇到这样的场景：

推荐系统去重：当用户浏览商品时，需要快速找到与历史行为相似的新商品。传统 SQL 数据库用 LIKE 或 JOIN 操作处理文本相似度，但面对 500 维的 Embedding 向量时，查询耗时从毫秒级暴增到分钟级。
图像检索 ：要从百万图库中找出相似图片，用 BLOB 字段存储向量后，即使建了普通索引，ORDER BY cosine_distance 查询依然需要全表扫描。

这些问题暴露了关系型数据库的核心缺陷：

缺乏针对高维向量的专用索引结构
相似度计算无法利用硬件并行化
批量写入时锁粒度太大致使吞吐量骤降

优势：Facebook 开源的 CPU/GPU 加速库，千万级向量搜索仅需 10ms
局限：无持久化功能，数据更新需全量重建索引

优势：支持分布式部署和多种索引类型（IVF_FLAT、HNSW）
局限：运维复杂，K8s 部署至少需要 8 核 16G 资源

实时更新：支持单条向量增删改，无需重建整个索引
动态扩容：通过分片键（shard_key）实现水平扩展
混合检索：同时处理 filter=price<100 和vector_search的联合查询

# 安装 SDK
pip install chromadb

# 初始化客户端（生产环境应将 API_KEY 放入环境变量）import chromadb
from chromadb.config import Settings

client = chromadb.Client(Settings(
    chroma_api_impl="rest",
    chroma_server_host="localhost",
    chroma_server_http_port="8000",
    chroma_server_ssl=False
))

# 创建带 metadata 的集合
collection = client.create_collection(
    name="product_embeddings",
    metadata={"hnsw:space": "cosine", "hnsw:M": 32}  # 关键参数
)

# 安全删除示例
try:
    client.delete_collection("test")
except Exception as e:
    print(f"删除失败: {str(e)}")

# 批量插入时使用线程池避免竞争
from concurrent.futures import ThreadPoolExecutor

def batch_add(vectors, ids, metadatas=None):
    with ThreadPoolExecutor(max_workers=4) as executor:
        futures = []
        batch_size = 1000
        for i in range(0, len(ids), batch_size):
            future = executor.submit(
                collection.add,
                embeddings=vectors[i:i+batch_size],
                ids=ids[i:i+batch_size],
                metadatas=metadatas[i:i+batch_size] if metadatas else None
            )
            futures.append(future)

        # 统一检查结果
        for f in futures:
            if f.exception():
                raise f.exception()

参数	默认值	优化建议
M	16	越大则召回率越高，但内存占用呈指数增长，推荐 32-64
efConstruction	200	值越大构建越慢但质量越高，建议 100-200
efSearch	10	查询时动态调整，实时系统建议 50-100

# 结合标量过滤与向量搜索
results = collection.query(query_embeddings=[query_vec],
    n_results=10,
    where={"$and": [{"category": {"$eq": "electronics"}},
        {"price": {"$lt": 500}}
    ]}
)