Chroma向量数据库元数据过滤实战：从原理到高性能实现

1次阅读

共计 1932 个字符，预计需要花费 5 分钟才能阅读完成。

在千万级向量数据场景下，Chroma 原生的元数据过滤逐渐暴露出两个核心问题：

多条件查询性能断崖式下降 ：当同时过滤 5 个以上元数据字段时，查询延迟从 20ms 飙升至 800ms。通过py-spy 采样发现，90% 时间消耗在 Python 层的条件遍历判断
内存占用线性增长 ：存储{user_id: 123} 这样简单的元数据时，每个条目消耗约 2KB 内存（包含 Python 对象开销），导致 10M 条数据就占满 20GB 内存

# 原生过滤代码示例（性能瓶颈所在）results = [
   vec for vec in collection 
   if all(vec.metadata.get(k) == v 
      for k, v in filters.items())
]

方案类型	构建成本	查询复杂度	适用场景
原生逐条过滤	O(1)	O(n)	小数据量简单查询
倒排索引	O(n)	O(log n)	文本类高基数字段
位图索引	O(n)	O(1)	枚举型低基数字段

内存级 Bloom Filter：快速排除绝对不匹配的记录
每个字段独立布隆过滤器
误判率设置为 1%，消耗约 1.2MB/ 字段（百万数据）
磁盘位图索引：
按字段值分桶存储 bitmap
使用 roaringbitmap 压缩格式
精确匹配验证：
对前两步筛选的候选集做最终校验
采用批处理减少 Python 调用次数

class BitmapIndex:
    def __init__(self, field_name: str):
        self.field = field_name
        self.bitmaps: Dict[Any, roaringbitmap] = {}
        self.value_to_id = {}  # 值到内部 ID 的映射

    def add_document(self, doc_id: int, value: Any):
        if value not in self.value_to_id:
            self.value_to_id[value] = len(self.value_to_id)
        val_id = self.value_to_id[value]
        if val_id not in self.bitmaps:
            self.bitmaps[val_id] = roaringbitmap()
        self.bitmaps[val_id].add(doc_id)

采用多版本并发控制（MVCC）方案：

每次更新生成新版本位图
查询固定使用某个版本快照
通过引用计数自动回收旧版本

class VersionedBitmap:
    def __init__(self):
        self.current = threading.Lock()
        self.version = 0
        self.bitmap = roaringbitmap()
        self.refcounts = defaultdict(int)

    def snapshot(self) -> Tuple[int, roaringbitmap]:
        with self.current:
            self.refcounts[self.version] += 1
            return self.version, self.bitmap.copy()

对布尔运算密集的场景，使用 numpy 的 SIMD 优化：

import numpy as np

def batch_filter(vectors: List[Vector], 
    filters: Dict[str, Any]
) -> np.ndarray:
    # 生成掩码矩阵（利用 SIMD 并行计算）mask = np.ones(len(vectors), dtype=bool)
    for k, v in filters.items():
        mask &= np.array([vec.metadata.get(k) == v for vec in vectors])
    return mask