Chroma向量数据库索引入门指南：从零构建高效相似性搜索系统

1次阅读

共计 2051 个字符，预计需要花费 6 分钟才能阅读完成。

想象两个场景：
1. 推荐系统：当用户浏览商品 A 时，如何快速找到与其相似的 100 个商品？传统数据库需要遍历全表计算相似度，耗时长达分钟级
2. 语义搜索：输入 ” 适合雨天的心情音乐 ”，如何匹配音乐特征向量？关键词搜索完全失效

向量数据库通过预先构建索引，将相似性查询从 O(n)优化到 O(log n)，实现毫秒级响应。

Faiss：Meta 开源的本地库，适合固定数据集，但需要自行处理持久化和分布式
Pinecone：全托管服务，简单易用但成本较高
Chroma：轻量级(仅 3MB 内存占用)、内置持久化、支持动态更新，是快速验证场景的理想选择

Chroma 默认使用 HNSW（Hierarchical Navigable Small World）算法：

分层结构：数据被组织成多层图，上层是下层的快照
近邻搜索：从顶层开始，逐层向下搜索，最终在底层找到最近邻
优点：查询复杂度 O(log n)，支持高维数据（如 768 维 BERT 向量）

# 安装最新版本
pip install chromadb

import chromadb
from chromadb.utils import embedding_functions

# 1. 初始化客户端
client = chromadb.Client()

# 2. 创建集合（相当于表）collection = client.create_collection(
    name="products",
    embedding_function=embedding_functions.SentenceTransformerEmbeddingFunction(model_name="all-MiniLM-L6-v2"  # 384 维小型模型)
)

# 3. 添加数据（自动生成向量）docs = ["防水蓝牙音箱", "降噪耳机", "智能手表"]
metadatas = [{"category": "audio"}, {"category": "audio"}, {"category": "wearable"}]
ids = ["item1", "item2", "item3"]

collection.add(
    documents=docs,
    metadatas=metadatas,
    ids=ids
)

# 查询（按相似度）results = collection.query(query_texts=["运动耳机"],
    n_results=2
)
print(results["documents"])  # 输出：[["降噪耳机", "智能手表"]]

# 更新（先删除再添加）collection.delete(ids=["item1"])
collection.add(documents=["户外防水音箱"],
    ids=["item1"]
)

# 条件过滤
results = collection.query(query_texts=["电子设备"],
    where={"category": "audio"}  # 只返回 audio 类
)

参数	说明	推荐值
n_neighbors	构建图时每个点的连接数	16-64 (越大越精确但越慢)
ef_construction	构建时的候选池大小	200-400
ef_search	查询时的候选池大小	50-200

# 创建时指定参数
collection = client.create_collection(
    name="high_perf",
    metadata={"hnsw:space": "cosine",  # 相似度计算方式
              "hnsw:M": 32}  # n_neighbors
)

使用 collection.peek() 检查内存占用
对文本数据启用压缩：collection.modify(metadata={"compress": True})
定期调用 collection.compact() 合并碎片

维度不匹配：确保查询向量与索引维度一致（如 384 维）
版本冲突：服务端与客户端需同版本
持久化失败：检查磁盘权限，建议使用绝对路径

# 启动时指定分片数
chroma run --path /data/chroma --shards 4

# 客户端连接时配置
client = chromadb.HttpClient(
    host="load_balancer_ip",
    settings=chroma.Settings(chroma_server_grpc_port=50051)
)