Agent RAG 新手入门指南：从零构建你的第一个检索增强生成系统

1次阅读

没有评论

共计 1915 个字符，预计需要花费 5 分钟才能阅读完成。

传统的生成模型（如 GPT 系列）虽然能流畅生成文本，但存在两个关键缺陷：

知识截止问题 ：模型训练完成后，其知识就固定了。例如 GPT-3.5 的知识截止到 2021 年，无法获取最新信息。
幻觉问题 ：当模型遇到不熟悉的话题时，可能会生成看似合理但实际错误的回答。

检索增强生成（RAG）通过结合检索系统和生成模型，让模型能够从外部知识库中实时获取信息，再基于这些信息生成回答，有效缓解了上述问题。

一个典型的 RAG 系统包含三个主要组件：

Agent：协调整个流程的控制器，决定何时检索、如何结合检索结果生成最终回答。
Retriever：从知识库中检索与输入相关的文档片段。
Generator：基于检索到的内容和原始输入，生成最终回答。

数据流动方向如下：

 用户输入 → Agent → Retriever → 知识库 → Generator → 最终回答

首先安装必要的 Python 库：

pip install langchain openai faiss-cpu chromadb

好的分块（chunking）策略对检索质量至关重要。这里展示两种常见的分块方法：

from langchain.text_splitter import RecursiveCharacterTextSplitter

# 方法一：按固定大小分块
text_splitter = RecursiveCharacterTextSplitter(
    chunk_size=500,
    chunk_overlap=50
)

# 方法二：按语义分块（需要嵌入模型）from langchain_experimental.text_splitter import SemanticChunker
from langchain_openai import OpenAIEmbeddings

text_splitter = SemanticChunker(OpenAIEmbeddings())

我们对比两种流行的向量数据库：

# 使用 FAISS
from langchain_community.vectorstores import FAISS
from langchain_openai import OpenAIEmbeddings

vectorstore = FAISS.from_texts(texts, OpenAIEmbeddings())

# 使用 Chroma
from langchain_community.vectorstores import Chroma

vectorstore = Chroma.from_texts(texts, OpenAIEmbeddings())

FAISS 更适合内存有限的场景，而 Chroma 提供了更完善的持久化功能。

from langchain.chains import RetrievalQA
from langchain_openai import ChatOpenAI

qa_chain = RetrievalQA.from_chain_type(llm=ChatOpenAI(model="gpt-3.5-turbo"),
    chain_type="stuff",
    retriever=vectorstore.as_retriever())

result = qa_chain.run("什么是 RAG 技术？")
print(result)

当系统需要处理真实用户流量时，需要考虑：