检索增强生成（RAG）技术解析：如何解决大模型幻觉与知识更新难题

1次阅读

没有评论

共计 2134 个字符，预计需要花费 6 分钟才能阅读完成。

大语言模型（LLM）虽然在文本生成上表现出色，但在实际应用中仍面临两个核心问题：

幻觉问题 ：模型倾向于生成看似合理但实际错误的内容，尤其在涉及专业领域或时效性信息时。例如，问 ChatGPT 某个 2023 年的新闻事件，它可能编造一个看似真实的回答。
知识更新滞后 ：模型的训练数据存在时间窗口（如 GPT-3.5 基于 2021 年前数据），无法实时获取最新知识。传统微调方案成本高且无法覆盖所有领域。

RAG 方案
优点：动态引入外部知识库，零样本适应新领域，知识更新只需更新检索库
缺点：检索延迟增加，依赖外部数据质量
微调（Fine-tuning）
优点：模型直接掌握新知识
缺点：需标注数据，训练成本高，灾难性遗忘风险
提示工程（Prompt Engineering）
优点：无需训练，快速验证
缺点：上下文窗口有限（如 GPT- 4 的 32K token 限制），知识无法持久化

典型 RAG 工作流分为三个阶段：

检索阶段 ：将用户查询向量化，从知识库中召回最相关的文档片段
增强阶段 ：将检索结果与原始查询组合成增强提示（augmented prompt）
生成阶段 ：LLM 基于增强提示生成最终回复

flowchart LR
    A[用户查询] --> B[检索器]
    B --> C[相关文档片段]
    A & C --> D[生成器]
    D --> E[最终回答]

# 安装依赖
pip install langchain faiss-cpu sentence-transformers

from langchain.embeddings import HuggingFaceEmbeddings
from langchain.text_splitter import RecursiveCharacterTextSplitter
from langchain.vectorstores import FAISS
from langchain.document_loaders import WebBaseLoader

# 1. 加载知识文档（这里以网页为例）loader = WebBaseLoader(["https://example.com/tech-article"])
docs = loader.load()

# 2. 文档分块（解决上下文窗口限制）text_splitter = RecursiveCharacterTextSplitter(
    chunk_size=500,
    chunk_overlap=50
)
splits = text_splitter.split_documents(docs)

# 3. 构建向量数据库
embedding = HuggingFaceEmbeddings(model_name="all-MiniLM-L6-v2")
db = FAISS.from_documents(splits, embedding)
db.save_local("faiss_index")  # 持久化保存

from langchain.llms import OpenAI
from langchain.chains import RetrievalQA

# 1. 加载预构建的索引
db = FAISS.load_local("faiss_index", embedding)

# 2. 创建检索链
retriever = db.as_retriever(search_kwargs={"k": 3})  # 返回 top3 结果
qa_chain = RetrievalQA.from_chain_type(llm=OpenAI(temperature=0),
    chain_type="stuff",
    retriever=retriever,
    return_source_documents=True
)

# 3. 执行查询
result = qa_chain("什么是 RAG 技术？")
print(result["result"])
print("来源文档：", result["source_documents"])