Chroma向量数据库新手教程：从零开始构建高效向量检索系统

1次阅读

没有评论

共计 2437 个字符，预计需要花费 7 分钟才能阅读完成。

在当今 AI 驱动的应用中，我们经常需要处理非结构化数据（如文本、图像、音频）。这些数据通过模型转换为高维向量后，传统的数据库难以高效处理。向量数据库专门为这类场景设计，支持：

快速相似性搜索（如查找相似图片）
大规模向量存储
实时检索与更新

Chroma 是一个轻量级开源向量数据库，具有以下特点：

简单易用的 Python API
支持内存和持久化存储
内置元数据管理
活跃的开发者社区

确保已安装 Python 3.8+（推荐使用 conda 管理环境）：
```
conda create -n chroma_demo python=3.8
conda activate chroma_demo
```
安装 Chroma 及其依赖：
```
pip install chromadb
```

验证安装（启动 Python 解释器执行）：

import chromadb
print(chromadb.__version__)  # 应输出如 0.4.0

集合是 Chroma 中存储相关向量的容器，类似于传统数据库的表：

import chromadb

# 创建客户端（内存模式，重启后数据消失）client = chromadb.Client()

# 创建集合（相当于新建一张表）collection = client.create_collection(name="my_vectors")

假设我们有三条文本及其对应的嵌入向量（实际应用中需通过模型生成）：

# 模拟三个文本的嵌入向量（维度为 384）vectors = [[0.1]*384,  # "如何学习 Python"
    [0.2]*384,  # "机器学习入门指南"
    [0.15]*384  # "深度学习实战"
]

# 插入数据（需指定唯一 ID）collection.add(documents=["如何学习 Python", "机器学习入门指南", "深度学习实战"],
    embeddings=vectors,
    ids=["doc1", "doc2", "doc3"]
)

查找与查询向量最相似的条目：

# 模拟查询向量（实际应通过相同模型生成）query_embedding = [0.12]*384

# 返回最相似的 2 个结果
results = collection.query(query_embeddings=[query_embedding],
    n_results=2
)

print(results)
# 输出包含相似文档 ID、距离分数和原始文本

可以为每个向量附加元数据，实现更复杂的过滤：

collection.add(documents=["神经网络原理"],
    embeddings=[[0.18]*384],
    ids=["doc4"],
    metadatas=[{"category": "深度学习", "pages": 20}]
)

# 带元数据过滤的查询
results = collection.query(query_embeddings=[query_embedding],
    n_results=3,
    where={"category": "深度学习"}  # 只返回该分类下的结果
)

单条插入效率低下，建议批量操作（实测速度提升 5 倍 +）：

# 错误示范：循环单条插入
for doc in large_dataset:
    collection.add(...)  # 极慢！# 正确做法：批量插入
collection.add(documents=[...],  # 所有文档列表
    embeddings=[...],  # 所有向量列表
    ids=[...]         # 所有 ID 列表
)

Chroma 支持多种索引（创建集合时指定）：

collection = client.create_collection(
    name="optimized_collection",
    metadata={"hnsw:space": "cosine"}  # 使用基于余弦相似度的 HNSW 索引
)

不同索引对比：

索引类型	适用场景	内存占用	查询速度
扁平索引	小规模数据	低	中等
HNSW	大规模数据	高	极快

问题：插入的向量维度与集合不匹配

解决：

统一所有向量维度

创建集合时指定维度：

client.create_collection(name="my_col", metadata={"dimension": 384})

可能原因：

向量质量差（需检查嵌入模型）
相似度度量方式不匹配（尝试更改 space 参数）
数据未正确归一化

任务：构建一个电影推荐原型系统

要求：
1. 使用 TMDB 电影数据集（含标题和描述）
2. 用 Sentence-BERT 生成描述文本的嵌入向量
n3. 实现 ” 根据描述查找相似电影 ” 功能
4.（进阶）添加类型过滤功能

提示代码框架：

from sentence_transformers import SentenceTransformer
import chromadb

# 初始化
model = SentenceTransformer('paraphrase-multilingual-MiniLM-L12-v2')
client = chromadb.Client()

# 生成嵌入
movie_descriptions = [...]  # 加载数据集
titles = [...]
embeddings = model.encode(movie_descriptions)

# 你的实现代码...

通过本教程，你已经掌握了 Chroma 的核心操作。建议下一步：