向量数据库实战：基于Chroma和Qdrant的高效相似性搜索解决方案

1次阅读

共计 1731 个字符，预计需要花费 5 分钟才能阅读完成。

在人工智能和机器学习领域，向量数据变得越来越重要。无论是自然语言处理中的词嵌入、图像识别中的特征向量，还是推荐系统中的用户画像，都需要高效地存储和检索高维向量数据。然而，传统的关系型数据库和 NoSQL 数据库在处理向量数据时存在明显的局限性：

缺乏原生的向量相似性搜索功能，只能通过全表扫描实现，效率极低
无法有效支持高维向量的索引和压缩
在数据规模增长时性能下降明显

Chroma 和 Qdrant 是当前主流的两种开源向量数据库解决方案。我们从几个关键维度进行对比：

轻量级，易于部署和集成
专注于嵌入向量的存储和检索
提供简单的 Python API
适合中小规模应用和快速原型开发

高性能，支持分布式部署
提供 REST 和 gRPC 接口
内置负载均衡和故障转移
适合大规模生产环境

import chromadb

# 创建客户端
client = chromadb.Client()

# 创建集合
collection = client.create_collection("my_collection")

# 添加文档和向量
documents = ["文档 1 内容", "文档 2 内容", "文档 3 内容"]
embeddings = [[0.1, 0.2, 0.3], [0.4, 0.5, 0.6], [0.7, 0.8, 0.9]]
ids = ["id1", "id2", "id3"]

collection.add(
    documents=documents,
    embeddings=embeddings,
    ids=ids
)

# 查询相似向量
results = collection.query(query_embeddings=[[0.15, 0.25, 0.35]],
    n_results=2
)
print(results)

from qdrant_client import QdrantClient
from qdrant_client.http import models

# 创建客户端
client = QdrantClient("localhost", port=6333)

# 创建集合
client.create_collection(
    collection_name="my_collection",
    vectors_config=models.VectorParams(size=3, distance=models.Distance.COSINE)
)

# 添加向量
client.upsert(
    collection_name="my_collection",
    points=[
        models.PointStruct(
            id=1,
            vector=[0.1, 0.2, 0.3],
            payload={"text": "文档 1 内容"}
        ),
        models.PointStruct(
            id=2,
            vector=[0.4, 0.5, 0.6],
            payload={"text": "文档 2 内容"}
        )
    ]
)

# 查询相似向量
search_result = client.search(
    collection_name="my_collection",
    query_vector=[0.15, 0.25, 0.35],
    limit=2
)
print(search_result)

我们在相同硬件环境下对两个数据库进行了基准测试：