Chroma向量数据库的物理逻辑解析：从存储结构到查询优化

1次阅读

没有评论

共计 1555 个字符，预计需要花费 4 分钟才能阅读完成。

Chroma 是一个开源的向量数据库，专为高效存储和检索高维向量数据而设计。它的核心组件包括：

存储引擎：负责向量数据的持久化和索引管理
查询处理器 ：处理近似最近邻搜索(ANN) 请求
API 服务层：提供 REST 和 gRPC 接口
元数据管理 ：维护集合(collection) 和文档 (document) 的关联信息

这些组件协同工作，使得 Chroma 能够支持大规模的向量相似性搜索应用场景。

Chroma 采用列式存储格式来组织向量数据，这种设计特别适合批量读取和并行处理。每个集合中的向量被存储在连续的内存块中，便于 SIMD 指令优化。

内存布局：向量按维度对齐存储，最小存取单元为 256 位(32 字节)
数据分片：大型集合自动分片存储，分片大小默认为 1GB
持久化：支持本地文件系统和 S3 兼容的对象存储

Chroma 默认使用 HNSW(Hierarchical Navigable Small World)图算法作为向量索引：

构建多层图结构，上层为稀疏图，下层为稠密图
搜索时从顶层开始，逐步向下层细化
插入新向量时自动更新图结构

# 创建带自定义 HNSW 参数的集合
import chromadb

client = chromadb.Client()
collection = client.create_collection(
    name="my_collection",
    metadata={"hnsw:construction_ef": 200, "hnsw:search_ef": 100}
)

Chroma 提供两种持久化方案：

本地模式：直接写入磁盘文件，适合单机部署
分布式模式：通过对象存储服务实现多节点共享

当执行向量相似性搜索时，Chroma 会经历以下步骤：

解析查询向量和搜索参数
定位目标集合的分片位置
加载索引结构到内存(如果未缓存)
执行 HNSW 分层搜索算法
计算 top- k 最相似向量
合并来自不同分片的结果
返回排序后的最终结果

Chroma 针对不同场景采用了多种优化策略：

量化压缩 ：对浮点向量进行 PQ(Product Quantization) 压缩
缓存预热：高频访问的索引保持在内存中
并行搜索：利用多核 CPU 同时搜索不同分片

# 执行带参数的向量搜索
results = collection.query(query_embeddings=[query_vector],
    n_results=10,
    include=["documents", "distances"],
    search_params={"ef": 150}  # 控制搜索精度
)

HNSW 索引有三个关键参数需要调整：