Chroma向量数据库元数据过滤实战：从原理到最佳实践

1次阅读

没有评论

共计 1835 个字符，预计需要花费 5 分钟才能阅读完成。

在 AI 应用中，我们经常需要在海量向量数据中快速找到符合特定条件的条目。例如，一个电商推荐系统可能需要：

只检索特定品类的商品
过滤掉用户已购买的商品
仅展示特定价格区间的推荐

这些需求都依赖于高效的元数据过滤能力。然而很多开发者在使用 Chroma 时会遇到：

查询响应慢，特别是在数据量超过百万级时
复杂过滤条件 (AND/OR 组合) 导致性能急剧下降
难以平衡过滤精度和查询速度

Chroma 底层使用 SQLite 存储元数据，其核心设计有三大特点：

结构化存储：元数据以 JSON 格式存储，但会被展平为 SQLite 表的列
动态 Schema：无需预定义字段，插入时自动适应新字段
组合索引：对常用过滤字段自动创建复合索引

一个典型的元数据存储结构如下：

{
  "id": "vec_123",
  "embedding": [0.1, 0.2, ...],
  "metadata": {
    "category": "electronics",
    "price": 299.99,
    "in_stock": true
  }
}

先执行向量相似度搜索，再对结果应用过滤条件

优点：实现简单
缺点：当过滤条件很严格时，需要检索大量无关向量

先过滤元数据，再对符合条件的向量执行搜索

优点：减少需要比较的向量数量
缺点：需要元数据字段有良好索引

结合预过滤和近似最近邻 (ANN) 算法的优势

先用粗略条件缩小搜索空间
在子空间内执行精确搜索
最后应用精确过滤条件

实际测试显示，在 100 万条数据规模下：

策略	查询延迟(ms)	内存占用(MB)
直接过滤	420	320
预过滤	85	210
混合过滤	62	180

import chromadb

# 创建带元数据的集合
client = chromadb.PersistentClient(path="./db")
collection = client.create_collection("products")

# 批量插入带元数据的向量
collection.add(ids=["prod1", "prod2", "prod3"],
    embeddings=[[0.1, 0.2], [0.3, 0.4], [0.5, 0.6]],
    metadatas=[{"category": "electronics", "price": 299},
        {"category": "clothing", "price": 59},
        {"category": "electronics", "price": 199}
    ]
)

# 单条件过滤
results = collection.query(query_embeddings=[[0.15, 0.25]],
    where={"category": {"$eq": "electronics"}}
)

# 多条件组合
results = collection.query(query_embeddings=[[0.15, 0.25]],
    where={
        "$and": [{"category": {"$eq": "electronics"}},
            {"price": {"$lt": 250}}
        ]
    }
)