检索增强生成（RAG）新手入门：从零构建你的第一个知识增强AI应用

1次阅读

没有评论

共计 2268 个字符，预计需要花费 6 分钟才能阅读完成。

传统生成式 AI（如 GPT 系列）虽然能生成流畅文本，但在处理专业领域知识时存在两个明显短板：

事实准确性不足 ：模型依赖训练时的记忆，对训练后出现的新知识或小众领域信息容易产生 ” 幻觉 ”（生成看似合理但错误的内容）。研究表明，RAG 可将事实准确性提升 40-60%（数据来源：Meta AI《Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks》）
知识更新成本高 ：调整纯生成模型的知识需要重新训练或微调，而 RAG 只需更新知识库，时效性从周 / 月级缩短到分钟级

RAG（检索增强生成） 的核心思想很简单：先检索相关文档片段，再让生成模型基于这些片段产生回答，相当于给 AI 装了个 ” 外接硬盘 ”。

(示意图：虚线框内为 RAG 新增组件)

知识库
存储结构化的文档数据（PDF/HTML/ 数据库等）
关键是要做好文档分块（chunking），通常 300-500 字 / 块效果较好
检索器
将文本转换为向量（embedding），常用模型包括 BERT、Sentence-BERT
使用向量数据库（如 FAISS、Milvus）加速相似度搜索
生成器
接收检索结果和用户问题，生成最终回答
需要设计合理的 prompt 模板串联上下文

# 安装核心库
pip install langchain faiss-cpu openai tiktoken

from langchain.document_loaders import WebBaseLoader
from langchain.text_splitter import RecursiveCharacterTextSplitter

# 加载网页文档（也支持 PDF、Notion 等）loader = WebBaseLoader(["https://example.com/ai-article"])
docs = loader.load()

# 智能分块（保持语义完整性）text_splitter = RecursiveCharacterTextSplitter(
    chunk_size=500,  # 每个块约 500 字符
    chunk_overlap=50,  # 块间重叠避免截断句子
    separators=["\n\n", "\n", " "]  # 按段落 > 换行 > 空格分割
)
chunks = text_splitter.split_documents(docs)

from langchain.embeddings import OpenAIEmbeddings
from langchain.vectorstores import FAISS

# 使用 OpenAI 的 embedding 模型（也可选 HuggingFace）embeddings = OpenAIEmbeddings(model="text-embedding-ada-002")

# 创建 FAISS 向量库
# similarity_threshold 控制检索严格度，值越大匹配要求越高
db = FAISS.from_documents(chunks, embeddings)
db.save_local("my_rag_index")  # 保存索引供后续使用

from langchain.chat_models import ChatOpenAI
from langchain.chains import RetrievalQA

# 1. 加载预存索引
db = FAISS.load_local("my_rag_index", embeddings)

# 2. 设置检索器（top_k= 3 表示返回相似度最高的 3 个片段）retriever = db.as_retriever(search_kwargs={"k": 3})

# 3. 结合 GPT 生成回答
qa_chain = RetrievalQA.from_chain_type(llm=ChatOpenAI(model="gpt-3.5-turbo"),
    chain_type="stuff",  # 简单拼接检索结果
    retriever=retriever,
    verbose=True
)

# 示例查询
result = qa_chain.run("RAG 相比纯生成模型有哪些优势？")
print(result)

通过实验发现（测试环境：AWS t3.xlarge）：