Chroma向量数据库索引入门指南：从零构建高效相似性搜索系统

1次阅读

共计 1682 个字符，预计需要花费 5 分钟才能阅读完成。

想象你正在开发一个电商推荐系统，需要快速找到与用户浏览记录相似的商品。传统数据库只能做精确匹配，而向量数据库能通过计算向量间的距离（如余弦相似度），实现『像这样』的模糊搜索。另一个典型场景是语义搜索——将文本转换为向量后，即使关键词不匹配，也能找到含义相近的内容。

对比其他方案：
– Faiss：Meta 开源的库，性能强但需要手动管理数据持久化
– Pinecone：全托管服务，适合企业但费用较高
– Chroma：内置持久化、支持语义搜索 API，特别适合需要快速上手的轻量级应用

# 安装最新版本
pip install chromadb

# 创建客户端（默认数据存储在./chroma_data）import chromadb
client = chromadb.Client()

# 创建集合（类似数据库表）collection = client.create_collection(name="products")

假设我们有一组商品向量和元数据：

# 模拟生成 3 个 512 维向量
import numpy as np
vectors = np.random.rand(3, 512).tolist()

# 元数据（实际应用可能包含商品 ID、描述等）metadatas = [{"category": "electronics"}, 
             {"category": "clothing"}, 
             {"category": "food"}]

# 插入数据
collection.add(
    embeddings=vectors,
    metadatas=metadatas,
    ids=["p1", "p2", "p3"]  # 必须唯一
)

查找与给定向量最相似的 2 个商品：

query_vector = np.random.rand(1, 512).tolist()
results = collection.query(
    query_embeddings=query_vector,
    n_results=2,
    where={"category": "electronics"}  # 可选的元数据过滤
)

print(results['ids'][0])  # 输出相似商品的 ID 列表

Chroma 默认使用 Hierarchical Navigable Small World (HNSW) 算法：
1. 分层结构：数据被组织成多层图，上层是下层的概览
2. 快速导航：查询时从顶层开始，逐步向下精确定位
3. 高效搜索：复杂度仅为 O(log n)，远快于暴力搜索的 O(n)

关键参数调节（在创建集合时设置）：

collection = client.create_collection(
    name="optimized",
    metadata={"hnsw:space": "cosine",  # 相似度计算方式
              "hnsw:M": 16,           # 每个节点的连接数
              "hnsw:efConstruction": 200}  # 索引构建精度
)