从Excel到向量数据库：使用Chroma构建高效数据检索系统的入门指南

1次阅读

没有评论

共计 2052 个字符，预计需要花费 6 分钟才能阅读完成。

在日常工作中，Excel 一直是数据处理和分析的得力工具。但随着数据量的增长和查询需求的复杂化，Excel 逐渐暴露出一些局限性：

模糊搜索能力弱 ：Excel 的查找功能只能进行精确匹配或简单通配符搜索，无法理解语义
相似性检索困难 ：难以实现 ” 查找与 A 产品相似的所有商品 ” 这类需求
性能瓶颈 ：当数据量超过 10 万行时，筛选和查找操作会变得异常缓慢
缺乏扩展性 ：无法方便地与其他系统集成，如推荐系统、智能问答等

在众多向量数据库解决方案中，Chroma 凭借以下特点脱颖而出：

轻量易用 ：安装简单，API 设计直观，学习曲线平缓
本地优先 ：支持完全本地运行，无需依赖云服务
功能完备 ：提供完整的向量存储和检索功能，支持多种距离度量方式
Python 原生 ：与 Python 生态完美融合，适合快速原型开发

与其他方案的对比：

FAISS：性能优异但接口较底层，需要更多编码工作
Pinecone：全托管服务，适合生产环境但需要付费
Milvus：功能强大但部署复杂，适合大型项目

假设我们有一个产品目录 Excel（products.xlsx），包含以下字段：

产品 ID
产品名称
产品描述
价格

预处理步骤：

读取 Excel 文件
清理无效数据（空值、重复项）
合并文本字段（名称 + 描述）
处理特殊字符和统一编码

向量化是将文本转换为数值向量的过程，常用的方法有：

词袋模型 （Bag-of-Words）：简单但忽略语义
TF-IDF：考虑词频和重要性
预训练模型 ：如 BERT、SentenceTransformer 等，能捕捉深层语义

推荐使用 SentenceTransformer 的 ’all-MiniLM-L6-v2’ 模型，它在性能和准确度间取得了良好平衡。

Chroma 的核心概念：

Collection：相当于传统数据库的表
Documents：存储的文本内容
Embeddings：对应的向量表示
Metadata：附加的标量数据（如价格、分类等）

import pandas as pd
from sentence_transformers import SentenceTransformer
import chromadb

# 1. 读取并预处理 Excel 数据
df = pd.read_excel('products.xlsx')
df = df.dropna()  # 去除空值
df['combined_text'] = df['产品名称'] + "" + df[' 产品描述 ']

# 2. 初始化向量化模型
model = SentenceTransformer('all-MiniLM-L6-v2')
embeddings = model.encode(df['combined_text'].tolist())

# 3. 创建 Chroma 集合
chroma_client = chromadb.Client()
collection = chroma_client.create_collection(name="products")

# 4. 添加数据到集合
ids = [str(i) for i in df['产品 ID'].tolist()]
documents = df['combined_text'].tolist()
metadatas = [{"price": float(price)} for price in df['价格'].tolist()]

collection.add(
    ids=ids,
    documents=documents,
    metadatas=metadatas,
    embeddings=embeddings.tolist())

# 5. 查询示例
results = collection.query(query_texts=["寻找性价比高的笔记本电脑"],
    n_results=3
)
print(results)

测试不同数据量下的查询响应时间（毫秒）：