检索增强生成效果展示：从原理到实战的避坑指南

1次阅读

没有评论

共计 2106 个字符，预计需要花费 6 分钟才能阅读完成。

传统生成模型（如 GPT）虽然在文本生成上表现优异，但在需要精准事实或领域知识的场景中常常出现“幻觉”现象（即生成不准确的内容）。这种局限性源于模型仅依赖于预训练时学到的知识，而无法动态获取最新或特定领域的信息。

检索增强生成（RAG）通过结合检索系统和生成模型，有效解决了这一问题。其核心思想是：在生成文本前，先从外部知识库中检索相关文档，然后将这些文档作为上下文输入生成模型，从而生成更准确、更有依据的文本。

BM25：传统的基于词频的检索算法，简单高效，但对语义理解有限。
Dense Retrieval（如 DPR）：基于神经网络的检索模型，能够更好地理解语义，但需要大量训练数据。
Hybrid Retrieval：结合 BM25 和 Dense Retrieval，兼顾效率和语义理解。

GPT-3：强大的通用生成模型，但成本较高。
T5：更适合任务导向的生成，灵活性较强。
BART：在生成和理解的平衡上表现优异，适合多任务场景。

文档分块 ：将长文档切分为小块（如每块 512 个 token），便于检索和生成。
向量化 ：使用预训练模型（如 Sentence-BERT）将文档块编码为向量，存储在向量数据库中。

Top- K 检索 ：从向量数据库中检索与查询最相关的 K 个文档块。
重排序（Re-ranking）：对检索结果进行二次排序，提升准确性。

上下文拼接 ：将检索到的文档块拼接为生成模型的输入上下文。
提示工程（Prompt Engineering）：设计合适的提示模板，引导生成模型利用检索到的信息。

以下是一个简单的 RAG 系统实现，基于 FAISS（向量数据库）和 Hugging Face 的 T5 模型：

from transformers import T5Tokenizer, T5ForConditionalGeneration
import faiss
import numpy as np

# 初始化生成模型
tokenizer = T5Tokenizer.from_pretrained("t5-small")
model = T5ForConditionalGeneration.from_pretrained("t5-small")

# 初始化向量数据库
dimension = 768  # 向量维度
index = faiss.IndexFlatL2(dimension)

# 假设已有文档向量和文本
document_vectors = np.random.rand(100, dimension).astype("float32")
document_texts = ["This is document {}".format(i) for i in range(100)]

# 将文档向量添加到向量数据库
index.add(document_vectors)

# 检索函数
def retrieve(query_vector, k=3):
    distances, indices = index.search(query_vector, k)
    return [document_texts[i] for i in indices[0]]

# 生成函数
def generate(query, retrieved_docs):
    input_text = "".join(retrieved_docs) +" " + query
    input_ids = tokenizer.encode(input_text, return_tensors="pt")
    outputs = model.generate(input_ids)
    return tokenizer.decode(outputs[0], skip_special_tokens=True)

# 示例使用
query_vector = np.random.rand(1, dimension).astype("float32")
retrieved_docs = retrieve(query_vector)
result = generate("What is the main idea?", retrieved_docs)
print(result)