检索增强生成(RAG)实战：从零构建高效知识问答系统

1次阅读

没有评论

共计 1310 个字符，预计需要花费 4 分钟才能阅读完成。

在实际应用中，我们经常遇到传统生成式模型（如 GPT-3）在专业领域问答中产生知识幻觉的问题。以下两个典型案例说明了这种局限性：

在医疗领域问答中，当询问 ”COVID-19 疫苗的推荐接种间隔时间 ” 时，基础生成模型可能会给出错误答案（如 ”2 周 ”），而实际专业指南建议的是 3 - 4 周。
在法律咨询场景下，对于 ” 劳动合同解除的法定通知期 ” 问题，模型可能混淆不同地区的法律规定，给出不准确的回答。

RAG 系统主要由三部分组成：

检索模块：将用户查询转换为向量，从知识库中检索相关文档
融合模块：将检索结果与用户查询组合成增强的 prompt
生成模块：基于增强的 prompt 生成最终回答

检索阶段：使用稠密检索（Dense Retrieval）获取 top- k 相关文档
排序阶段：对检索结果进行相关性排序
融合阶段：将排序后的文档与原始查询组合
生成阶段：语言模型基于增强上下文生成回答

import faiss
import numpy as np
from sentence_transformers import SentenceTransformer

# 初始化编码器
encoder = SentenceTransformer('all-MiniLM-L6-v2')

# 示例文档
documents = ["COVID-19 疫苗推荐间隔 3 - 4 周", "劳动合同解除需提前 30 天通知"]

# 编码文档
embeddings = encoder.encode(documents)
d = embeddings.shape[1]  # 向量维度

# 构建 FAISS 索引
index = faiss.IndexFlatIP(d)
index.add(embeddings)

# 检索示例
query = "疫苗应该间隔多久打"
query_embedding = encoder.encode([query])
D, I = index.search(query_embedding, k=1)
print(f"最相关文档：{documents[I[0][0]]}")

时间复杂度分析：
– 编码阶段：O(nd)，n 为文档数，d 为向量维度
– 检索阶段：O(dlogk)，使用 IVF 索引时可优化