AI Agent 实现语义化检索的核心原理与工程实践

1次阅读

没有评论

共计 1859 个字符，预计需要花费 5 分钟才能阅读完成。

传统的基于关键词的检索系统（如 TF-IDF、BM25）在处理用户查询时，主要依赖于关键词的精确匹配。这种方法虽然简单高效，但在面对同义词、多义词或复杂语义表达时表现不佳。例如：

搜索 ” 苹果 ” 时，无法区分水果和科技公司
查询 ” 如何更换轮胎 ” 时，可能错过包含 ” 替换车轮 ” 但内容相关的文档

语义化检索通过理解文本的深层含义，能够突破字面匹配的限制，提供更符合用户意图的结果。这是 AI Agent 在信息检索领域的重要应用方向。

传统方法
TF-IDF：简单快速，但无法捕获语义
BM25：改进的词频统计方法，对短文本效果较好
现代方法
词嵌入（Word2Vec/GloVe）：单词级语义表示
上下文嵌入（BERT 系列）：句子 / 段落级语义编码
专用嵌入模型（Sentence-BERT）：优化了语义相似度计算

实际测试表明，在 MS MARCO 数据集上，BM25 的 MRR@10 约为 0.18，而基于 BERT 的语义检索能达到 0.35+。

现代语义检索系统通常采用预训练语言模型将文本转换为固定维度的向量（如 768 维）。这些向量具有以下特性：

语义相似的文本在向量空间中距离相近
向量运算可以反映语义关系（如 ” 国王 - 男人 + 女人≈女王 ”）

余弦相似度：衡量向量方向的一致性，不受长度影响

def cosine_sim(a, b):
    return np.dot(a, b) / (np.linalg.norm(a) * np.linalg.norm(b))

点积相似度：计算更高效，但受向量长度影响

直接计算查询向量与所有文档向量的相似度（暴力搜索）在百万级数据量时响应时间可能达到秒级。实际工程中采用近似最近邻 (ANN) 算法：

Faiss（Facebook）：支持 GPU 加速，适合大规模数据
Annoy（Spotify）：内存效率高，易于部署
HNSW：图索引方法，精度 / 速度平衡性好

# 环境准备
!pip install sentence-transformers faiss-cpu

from sentence_transformers import SentenceTransformer
import faiss
import numpy as np

# 1. 加载预训练模型
model = SentenceTransformer('paraphrase-multilingual-MiniLM-L12-v2')

# 2. 准备示例文档
corpus = [
    "深度学习是机器学习的一个分支",
    "人工智能正在改变各行各业",
    "BERT 模型在 NLP 任务中表现出色"
]

# 3. 生成嵌入向量
corpus_embeddings = model.encode(corpus)
dim = corpus_embeddings.shape[1]

# 4. 构建 Faiss 索引
index = faiss.IndexFlatIP(dim)  # 使用点积相似度
index.add(corpus_embeddings)

# 5. 执行查询
query = "什么是深度学习"
query_embedding = model.encode([query])
k = 2  # 返回 top2 结果

D, I = index.search(query_embedding, k)  # D 是相似度得分，I 是索引

print("最相关文档：")
for idx, score in zip(I[0], D[0]):
    print(f"[{score:.3f}] {corpus[idx]}")