检索增强生成（RAG）实战：如何解决大模型幻觉与知识更新难题

1次阅读

共计 2852 个字符，预计需要花费 8 分钟才能阅读完成。

大语言模型（LLM）在实际应用中面临两个核心挑战：幻觉问题（Hallucination）和知识更新滞后。这些问题的根源可以从技术层面分解为三点：

训练数据滞后 ：LLM 的训练数据存在时间窗口限制，例如 GPT- 3 的训练数据截止于 2021 年 10 月。当模型被部署后，无法自动获取新知识。
参数记忆局限 ：模型的知识全部存储在固定规模的参数中，当需要覆盖的知识量超过参数容量时，模型会优先保留高频模式而非精确事实。
概率生成本质 ：模型通过自回归方式逐 token 生成内容，本质上是在计算概率分布而非逻辑推理，这会导致生成似是而非的内容。

典型案例 ：
– 金融领域 ：使用 LLM 回答 2023 年美联储加息政策时，模型可能基于过时数据生成错误结论
– 医疗领域 ：当询问最新临床试验结果时，模型可能编造不存在的药物疗效数据

维度	微调 (Fine-tuning)	RAG
知识更新成本	高（需全模型重新训练）	低（仅更新检索库）
响应延迟	稳定（纯模型计算）	波动（依赖检索耗时）
事实准确性	依赖训练数据质量	可实时保证
长尾知识覆盖	差	优

graph TD
    A[用户 Query] --> B(Query 理解层)
    B --> C[向量检索层]
    C --> D[上下文压缩层]
    D --> E[生成控制层]
    E --> F[最终输出]

    subgraph 知识库
        C --> G[向量数据库]
        C --> H[结构化数据]
    end

Query 理解层 ：通过实体识别、意图分析、query 改写等技术提升检索召回率
向量检索层 ：结合稠密检索（Dense Retrieval）和稀疏检索（Sparse Retrieval）的优势
上下文压缩层 ：对检索到的文档进行相关性排序和内容精简
生成控制层 ：通过 Prompt 工程约束模型输出范围

from langchain.document_loaders import WebBaseLoader
from langchain.text_splitter import RecursiveCharacterTextSplitter
from langchain.embeddings import HuggingFaceEmbeddings
from langchain.vectorstores import FAISS
from langchain.chains import RetrievalQA
from langchain.llms import OpenAI

# 知识库构建
loader = WebBaseLoader(["https://example.com/latest-news"])
documents = loader.load()
text_splitter = RecursiveCharacterTextSplitter(chunk_size=1000, chunk_overlap=200)
texts = text_splitter.split_documents(documents)

# 向量化与存储
embeddings = HuggingFaceEmbeddings(model_name="sentence-transformers/all-mpnet-base-v2")
db = FAISS.from_documents(texts, embeddings)

# RAG 链构建
qa_chain = RetrievalQA.from_chain_type(llm=OpenAI(temperature=0),
    chain_type="stuff",
    retriever=db.as_retriever(search_kwargs={"k": 3}),
    return_source_documents=True
)

from langchain.retrievers import BM25Retriever

def hybrid_retrieval(query, text_corpus, k=5):
    # 稀疏检索
    bm25_retriever = BM25Retriever.from_texts(text_corpus)
    bm25_docs = bm25_retriever.get_relevant_documents(query)

    # 稠密检索
    dense_docs = db.similarity_search(query, k=k)

    # 混合得分
    combined = {doc.page_content: 0 for doc in bm25_docs + dense_docs}
    for doc in bm25_docs:
        combined[doc.page_content] += 1
    for doc in dense_docs:
        combined[doc.page_content] += 1

    return sorted(combined.items(), key=lambda x: -x[1])[:k]

from transformers import pipeline

fact_checker = pipeline("text-classification", 
                       model="ynie/roberta-large-snli_mnli_fever_anli_R1_R2_R3-nli")

def validate_fact(claim, context):
    inputs = f"Claim: {claim}\nContext: {context}"
    result = fact_checker(inputs)[0]
    return result["label"] == "ENTAILMENT"