Chromeadb向量数据库：原理剖析与高性能实践指南

1次阅读

共计 2236 个字符，预计需要花费 6 分钟才能阅读完成。

在推荐系统、自然语言处理（NLP）和图像识别等 AI 应用中，数据通常以高维向量的形式存在。例如：

用户兴趣画像可能表示为 100 维的嵌入向量(embedding)
商品特征可能编码为 300 维的向量
文本通过 BERT 等模型转换为 768 维的向量

传统关系型数据库（如 PostgreSQL+pgvector 扩展）虽然能存储向量数据，但在处理相似性搜索 (similarity search) 时面临两个根本性瓶颈：

计算效率问题 ：全表扫描计算余弦相似度(cosine similarity) 的时间复杂度是 O(N)，当数据量达到百万级时响应延迟显著增加
存储效率问题 ：行式存储(row-based storage) 导致单次查询需要加载大量无关字段，浪费 IO 带宽

Chromeadb 通过列式存储 (columnar storage) 和分层导航小世界图 (Hierarchical Navigable Small World, HNSW) 索引，将搜索复杂度降低到 O(log N)，在千万级数据集上仍能保持毫秒级响应。

flowchart TD
    A[写入请求] --> B[向量编码]
    B --> C[列式存储]
    C --> D{是否需要构建索引?}
    D -->| 是 | E[构建 HNSW 多层图]
    D -->| 否 | F[原始向量存储]
    E --> G[内存索引]
    G --> H[定期持久化到 SSD]

核心设计亮点：

列式存储引擎：
每个向量维度独立存储为列
支持 SIMD 指令并行计算距离
压缩比可达传统行存储的 5 - 8 倍
动态 HNSW 索引：
顶层使用粗粒度导航（层数由 M 参数控制）
底层维护精细连接（efConstruction 决定构建质量）
搜索时从上至下逐层细化
资源隔离：
查询线程与构建索引线程分离
热点数据常驻内存，冷数据自动降级到 SSD

import numpy as np
from typing import List

def generate_vectors(dim: int, count: int) -> List[np.ndarray]:
    """生成正态分布的随机向量"""
    try:
        return [np.random.randn(dim).astype(np.float32) for _ in range(count)]
    except MemoryError:
        print(f"内存不足，请分批生成。尝试减小 count 值")
        raise

# 生成 100 万个 128 维向量
vectors = generate_vectors(128, 1_000_000)

from chromeadb import Collection

collection = Collection("products")

# 关键参数说明：# - M: 每层图的连接数，影响构建速度和内存占用（建议 16-64）# - efConstruction: 构建时的候选池大小，影响索引质量（建议 100-400）index_config = {
    "name": "hnsw",
    "metric": "ip",  # 内积相似度
    "M": 32,
    "efConstruction": 200,
    "max_elements": 2_000_000  # 预留扩容空间
}

collection.create_index(index_config)

from tenacity import retry, stop_after_attempt

@retry(stop=stop_after_attempt(3))
def batch_insert(data: List[np.ndarray], batch_size: int = 5000):
    """带重试机制的批量写入"""
    for i in range(0, len(data), batch_size):
        batch = data[i:i + batch_size]
        try:
            collection.insert(batch)
        except Exception as e:
            print(f"批次 {i} 写入失败: {str(e)}")
            raise

batch_insert(vectors)  # 实际生产建议使用多线程