Agent开发实战：如何高效使用向量数据库实现语义搜索

1次阅读

共计 1768 个字符，预计需要花费 5 分钟才能阅读完成。

传统数据库在 Agent 开发中遇到语义搜索需求时，往往面临两大天花板：

精确匹配失效 ：SQL 的LIKE 语句无法理解 ” 豪华轿车 ” 和 ” 高端汽车 ” 是相同语义
计算性能瓶颈：用余弦相似度暴力计算 10 万条数据的 TOP10 结果需要 5 秒以上，而向量数据库能在 50ms 内返回

特性	FAISS	Milvus	Pinecone
吞吐量(QPS)	10 万 +（单机）	1 万 +（分布式）	5 千 +（托管）
召回精度	依赖参数调优	支持多种索引	自动优化
成本	免费	自运维成本高	$0.1/GB/ 月

实验阶段：用 FAISS 快速验证（PyTorch 兼容性好）
生产中小规模：Milvus 集群（支持 K8s 部署）
企业级 SaaS：Pinecone（免运维但费用较高）

# 所需库版本（2024 年 3 月验证）# pip install langchain==0.1.0 milvus==2.3.3 sentence-transformers==2.2.2

from langchain.vectorstores import Milvus
from sentence_transformers import SentenceTransformer

# 使用 all-MiniLM-L6-v2 模型（平衡速度与精度）encoder = SentenceTransformer('all-MiniLM-L6-v2')

texts = ["豪华轿车保养指南", "电动汽车电池更换", "高端汽车贴膜服务"]
embeddings = encoder.encode(texts)  # 输出 384 维向量

vector_db = Milvus.from_texts(
    texts,
    encoder,
    collection_name="car_services",
    connection_args={"host": "localhost", "port": "19530"},
    index_params={
        "metric_type": "L2",
        "index_type": "IVF_FLAT",
        "params": {"nlist": 1024}
    }
)

query = "豪车怎么保养"
results = vector_db.similarity_search(query, k=2)

# 输出：[Document('豪华轿车保养指南'), Document('高端汽车贴膜服务')]

IVF_PQ：内存占用少（适合 10M+ 数据），精度损失约 3%
HNSW：查询快（<10ms），但建索引耗时是 IVF 的 5 倍

# 分批插入避免 OOM
batch_size = 500
for i in range(0, len(texts), batch_size):
    vector_db.add_texts(texts[i:i+batch_size])

from redis import Redis

# 用 Redis 缓存高频查询
cache = Redis()

def cached_search(query, ttl=300):
    if cache.exists(query):
        return cache.get(query)

    results = vector_db.similarity_search(query)
    cache.setex(query, ttl, pickle.dumps(results))
    return results