向量数据库实战：基于Chroma和Qdrant的高效相似性搜索解决方案

1次阅读

共计 2481 个字符，预计需要花费 7 分钟才能阅读完成。

传统关系型数据库在处理向量数据时存在明显瓶颈。随着推荐系统、图像识别、自然语言处理等 AI 应用的普及，相似性搜索成为刚需。传统方案如 PostgreSQL 的 pgvector 扩展虽能实现基础功能，但面临三大问题：

性能瓶颈：暴力计算欧氏距离或余弦相似度时，时间复杂度为 O(N)，千万级数据查询延迟超 500ms
扩展性差：分片扩容需要重建索引，无法实现动态横向扩展
功能缺失：缺乏专用优化算法（如 HNSW、IVF-PQ），召回率与效率难以兼得

轻量级设计：单节点版本仅需 2MB 内存即可运行，适合快速原型验证
Python 原生支持 ：通过chromadb 包提供链式 API，5 行代码完成集合创建
动态量化：自动选择 FP16/INT8 量化策略，内存占用减少 60%

分布式架构：原生支持 Raft 共识协议，数据分片自动均衡
混合搜索：支持向量 + 标量联合过滤（如 ” 颜色 =red AND 相似图片 ”）
性能极致：Rust 编写，亿级向量 90% 召回率下 P99 延迟 <50ms

维度	Chroma	Qdrant
开发速度	★★★★★	★★★☆
集群能力	★★☆	★★★★★
查询 QPS	3k	15k
学习曲线	低	中

import chromadb

# 初始化客户端（内存模式）client = chromadb.Client()

# 创建带元数据的集合
collection = client.create_collection(
    name="image_embeddings",
    metadata={"hnsw:ef": 32}  # 调整 HNSW 搜索范围
)

# 批量插入 512 维向量
collection.add(embeddings=np.random.rand(100, 512).tolist(),
    ids=[str(i) for i in range(100)],
    metadatas=[{"category": "animal"} for _ in range(100)]
)

# 相似性搜索（带过滤条件）results = collection.query(query_embeddings=[query_vec],
    n_results=10,
    where={"category": "animal"}  # 元数据过滤
)

use qdrant_client::prelude::*;

#[tokio::main]
async fn main() {
    // 连接集群端点
    let client = QdrantClient::from_url("http://qdrant-node1:6334").build()?;

    // 创建分片集合
    client.create_collection(&CreateCollection {collection_name: "products".into(),
        vectors_config: Some(VectorsConfig {
            params: Some(VectorParams {
                size: 768,  // 向量维度
                distance: Distance::Cosine.into(),
                ...
            }),
        }),
        shard_number: Some(3),  // 分片数
        ..Default::default()}).await?;

    // 批量插入（gRPC 流式接口）let points = (0..1000).map(|i| PointStruct {id: Some(i.into()),
        vectors: Some(random_vector(768)),
        payload: json!({"price": i % 100}).into(),
        ..Default::default()}).collect();

    client.upsert_points("products", points, None).await?;
}