RAG技术实战入门：3个案例解析检索增强生成的核心实现与优化

1次阅读

共计 2583 个字符，预计需要花费 7 分钟才能阅读完成。

大模型的知识局限性
预训练模型的参数化知识存在时间滞后性（如 GPT- 3 训练数据截止 2021 年）
专业领域知识覆盖不足（如医疗、法律等垂直领域）
无法实时获取外部动态信息（如股票行情、新闻事件）
典型技术痛点
检索效率：传统 BM25 检索在千万级文档库中响应时间超过 500ms
上下文窗口：即使使用 32k token 窗口的模型，仍可能丢失关键上下文
生成可信度：超参设置不当会导致 42% 的答案包含事实性错误（斯坦福研究数据）

稠密检索 vs 稀疏检索

稀疏检索（如 BM25）：

from rank_bm25 import BM25Okapi
tokenized_corpus = [doc.split() for doc in documents]
bm25 = BM25Okapi(tokenized_corpus)

稠密检索（如 Sentence-BERT）：

from sentence_transformers import SentenceTransformer
encoder = SentenceTransformer('paraphrase-mpnet-base-v2')
embeddings = encoder.encode(documents)

混合检索策略
先使用 BM25 进行初筛（Top 100）
再用稠密检索精排（Top 5）
实验显示混合方案比单一方法召回率提升 28%

动态截断算法

def dynamic_truncate(text, max_tokens):
    tokens = text.split()
    if len(tokens) > max_tokens:
        # 保留包含实体名词的句子
        return ' '.join([sent for sent in nltk.sent_tokenize(text) 
                        if any(ent in sent for ent in entities)][:max_tokens//20])
    return text

重要性排序
使用 TF-IDF 加权算法
关键实体识别（Spacy NER）
语义相似度评分（Cosine Similarity）

温度参数调节

generation_config = {
    "temperature": 0.3,  # 事实型问答建议 0.1-0.3
    "top_p": 0.9,       # 创意生成建议 0.7-1.0
    "repetition_penalty": 1.2
}

提示工程模板

PROMPT_TEMPLATE = """ 基于以下上下文：{context}
请严格根据上述信息回答：{question}
若信息不足请回复 '根据现有资料无法回答'"""

import faiss
import numpy as np

# 构建 FAISS 索引
dimension = 768
index = faiss.IndexFlatIP(dimension)
index.add(np.array(embeddings).astype('float32'))

# 检索逻辑
def search(query, k=3):
    query_embedding = encoder.encode([query])
    D, I = index.search(query_embedding, k)
    return [documents[i] for i in I[0]]

from transformers import pipeline

summarizer = pipeline("summarization", model="facebook/bart-large-cnn")

def augmented_summary(text):
    related_docs = retrieve_similar_documents(text)
    context = text + '\n'.join(related_docs[:2])
    return summarizer(context, max_length=150)

import clip
import torch

# 加载 CLIP 模型
device = "cuda" if torch.cuda.is_available() else "cpu"
model, preprocess = clip.load("ViT-B/32", device=device)

# 跨模态检索
def image_text_search(image, text_query, k=3):
    image_features = model.encode_image(preprocess(image).unsqueeze(0).to(device))
    text_features = model.encode_text(clip.tokenize(text_query).to(device))
    similarities = (image_features @ text_features.T).squeeze(0)
    return torch.topk(similarities, k)