Chroma向量数据库V2新手入门：从核心概念到实战应用

1次阅读

共计 1952 个字符，预计需要花费 5 分钟才能阅读完成。

在 AI 应用中，我们经常需要处理非结构化的数据，比如文本、图片、音频等。这些数据经过模型处理后，会变成高维向量。传统的关系型数据库和 KV 存储（如 LevelDB/Redis）很难高效地处理这些向量数据，特别是当我们需要进行相似性搜索时。

向量数据库（如 Chroma V2）就是为解决这个问题而生的，它能够：

快速存储和检索高维向量
支持高效的近邻搜索
轻松集成到现有的 AI 应用栈中

虽然 Redis 等 KV 存储也可以存储向量数据，但它们的设计初衷和向量数据库有很大不同：

查询方式不同
KV 存储：基于精确键值查询
向量数据库：基于向量相似度查询
索引结构不同
KV 存储：通常使用 B 树或哈希索引
向量数据库：使用 HNSW、IVF 等专门为向量优化的索引
性能表现不同
在千万级向量相似搜索场景下，专用向量数据库性能可能高出几个数量级

最简单的方式是通过 Docker 快速启动一个 Chroma 服务：

docker run -p 8000:8000 chromadb/chroma:latest

安装官方 Python 客户端：

pip install chromadb

基础连接代码：

import chromadb

# 创建客户端
client = chromadb.HttpClient(host='localhost', port=8000)

# 测试连接
print(client.heartbeat())  # 正常应返回时间戳

集合是 Chroma 中组织数据的主要方式：

# 创建或获取集合
collection = client.create_collection("my_collection")

# 或者获取已存在的集合
collection = client.get_collection("my_collection")

假设我们使用 OpenAI 的 text-embedding 模型生成向量：

import openai

# 生成嵌入向量
def get_embedding(text):
    response = openai.Embedding.create(input=[text],
        model="text-embedding-ada-002"
    )
    return response['data'][0]['embedding']

# 插入数据
documents = ["机器学习简介", "深度学习基础", "强化学习应用"]
ids = ["doc1", "doc2", "doc3"]
embeddings = [get_embedding(doc) for doc in documents]

collection.add(
    documents=documents,
    embeddings=embeddings,
    ids=ids
)

# 查询最相似的 2 个结果
results = collection.query(query_embeddings=[get_embedding("AI 学习")],
    n_results=2
)

print(results['documents'])  # 打印相似文档

Chroma V2 默认使用 HNSW 算法，关键参数：

collection.modify(
    hnsw_ef=200,  # 动态候选集大小，影响查询精度和速度
    hnsw_m=32     # 节点最大连接数，影响索引构建时间和内存
)

对于大规模数据导入：

使用 batch_size 参数控制每次提交的数量（建议 100-1000）
启用并行处理
禁用自动索引刷新

with client.batch(batch_size=500) as batch:
    for i in range(0, len(large_dataset), 500):
        batch.add(embeddings=large_embeddings[i:i+500],
            documents=large_docs[i:i+500],
            ids=large_ids[i:i+500]
        )