Agent技术实战：如何高效使用向量数据库实现智能检索

1次阅读

没有评论

共计 1888 个字符，预计需要花费 5 分钟才能阅读完成。

传统的关键词检索技术（如 MySQL 的 LIKE 查询或 Elasticsearch 的全文检索）存在明显的语义理解缺陷。比如搜索 ” 苹果 ” 时：

关键词匹配会同时返回水果和手机公司信息
无法识别 ”iPhone” 和 ” 苹果手机 ” 的语义关联
对同义词、近义词、一词多义的处理能力弱

这些局限性导致智能 Agent 在回答用户问题时，经常出现答非所问或遗漏重要信息的情况。

关系型数据库
适合结构化数据存储
优势在于事务处理和精确匹配
例：用户账户信息、订单数据
全文检索引擎
支持分词和倒排索引
擅长处理文本内容的关键词搜索
例：新闻网站的文章检索
向量数据库
将数据转换为高维向量存储
通过向量距离计算语义相似度
例：智能客服、推荐系统、图像搜索

使用 Sentence Transformers 将文本转换为 384 维向量：

from sentence_transformers import SentenceTransformer

# 加载预训练模型
model = SentenceTransformer('paraphrase-MiniLM-L6-v2')

# 生成嵌入向量
sentences = ["苹果手机最新款", "iPhone 14 Pro Max"]
embeddings = model.encode(sentences)
print(embeddings.shape)  # 输出：(2, 384)

Facebook 开源的向量搜索库：

import faiss
import numpy as np

# 创建索引
dimension = 384  # 向量维度
index = faiss.IndexFlatIP(dimension)  # 使用内积作为相似度度量

# 添加向量
vectors = np.random.random((1000, dimension)).astype('float32')
index.add(vectors)

# 相似度查询
query_vector = np.random.random((1, dimension)).astype('float32')
k = 5  # 返回最相似的 5 条结果
distances, indices = index.search(query_vector, k)
print(f"最相似结果索引：{indices}, 相似度得分：{distances}")

余弦相似度 ：适合文本等方向重要的场景
欧式距离 ：适合需要考虑向量绝对位置的场景
内积：计算效率最高，但需要向量归一化

避免单条插入导致的性能损耗：

# 不好的做法
for vec in vectors:
    index.add(np.array([vec]))

# 推荐做法
batch_size = 100
for i in range(0, len(vectors), batch_size):
    batch = vectors[i:i+batch_size]
    index.add(batch)

对于百万级数据量，建议使用：

# 使用 IVF 索引加速
nlist = 100  # 聚类中心数
quantizer = faiss.IndexFlatIP(dimension)
index = faiss.IndexIVFFlat(quantizer, dimension, nlist)
index.train(vectors)  # 训练聚类中心
index.add(vectors)

分片：按数据特征水平拆分
副本：保证高可用性
示例架构：
2 个查询节点 + 3 个索引节点
使用 Redis 缓存热点查询

超过 512 维时考虑降维（PCA/UMAP）
定期检查 ” 维度噪声 ”：随机向量的相似度分布

预填充领域相关语料
使用无监督聚类发现数据模式

示例解决方案：

from sklearn.cluster import KMeans
kmeans = KMeans(n_clusters=10).fit(init_vectors)
centroids = kmeans.cluster_centers_
index.add(centroids)  # 先建立粗略的检索结构