共计 1810 个字符，预计需要花费 5 分钟才能阅读完成。

背景与痛点

传统生成式模型（如 GPT 系列）虽然能生成流畅文本，但在需要精准领域知识的场景中容易产生 ” 幻觉 ”（Hallucination），即生成与事实不符的内容。RAG（Retrieval-Augmented Generation）通过结合检索和生成两个步骤，先检索相关文档片段，再基于这些片段生成答案，显著提高了生成结果的可信度。

常见痛点包括：

• 检索效率低下导致响应延迟
• 文档预处理不当影响检索质量
• 生成结果与检索内容关联性弱

技术选型

AnythingLLM 相比其他 RAG 框架（如 LangChain、Haystack）的优势：

• 开箱即用的文档解析能力（支持 PDF/PPTX/DOCX 等）
• 优化的默认参数配置
• 轻量级 API 设计
• 内置缓存和日志系统

核心实现

文档预处理与向量化

from anythingllm import DocumentProcessor
from typing import List
import numpy as np

class RAGPreprocessor:
    def __init__(self, chunk_size: int = 512):
        self.processor = DocumentProcessor()
        self.chunk_size = chunk_size

    def process_documents(self, file_paths: List[str]) -> np.ndarray:
        """
        处理文档并生成嵌入向量
        :param file_paths: 文档路径列表
        :return: 向量矩阵 shape=(n_chunks, embedding_dim)
        """
        all_embeddings = []

        for path in file_paths:
            # 分块读取文档
            chunks = self.processor.load_and_chunk(
                path, 
                chunk_size=self.chunk_size,
                overlap=50  # 块间重叠避免截断句子
            )

            # 生成嵌入向量
            embeddings = self.processor.embed_chunks(chunks)
            all_embeddings.extend(embeddings)

        return np.array(all_embeddings)

检索 - 生成协同流程

flowchart LR
    A[用户提问] --> B[查询向量化]
    B --> C[kNN 检索]
    C --> D[Top K 文档片段]
    D --> E[Prompt 构造]
    E --> F[LLM 生成]
    F --> G[结果返回]

关键点：

1. 检索阶段使用余弦相似度查找最相关片段
2. 将检索结果作为上下文注入 prompt
3. 生成阶段限制模型仅基于提供上下文回答

性能优化

索引并行构建

from concurrent.futures import ThreadPoolExecutor

def parallel_indexing(docs: List[Document], workers: int = 4):
    """
    多线程文档处理
    :param docs: 待处理文档列表
    :param workers: 线程数
    """
    with ThreadPoolExecutor(max_workers=workers) as executor:
        futures = [executor.submit(process_single_doc, doc) 
            for doc in docs
        ]
        results = [f.result() for f in futures]
    return merge_results(results)

缓存策略

• 查询缓存：对相同问题直接返回缓存结果
• 片段缓存：高频访问文档片段常驻内存
• 使用 LRU 策略管理缓存容量

避坑指南

文档分块策略

• 按语义分块（句子 / 段落边界）优于固定长度分块
• 技术文档保持代码块的完整性
• 添加元数据标记块间关系

抗幻觉 Prompt 设计

 请严格根据以下上下文回答问题。如果上下文不包含答案，请回答 "根据已知信息无法回答"。上下文：{retrieved_context}

问题：{user_question}

安全考量

查询过滤

• 关键词黑名单过滤
• 敏感话题分类器
• 查询意图分析

输出检查

• 事实性验证（对比检索内容）
• 毒性检测（如 Detoxify）
• 隐私信息掩码

延伸思考

1. 如何设计动态分块策略应对不同文档类型？
2. 当检索结果相互矛盾时如何优化生成质量？
3. 怎样评估 RAG 系统各模块的独立性能？

通过本指南，你应该已经掌握使用 AnythingLLM 构建 RAG 系统的核心方法。建议从一个垂直领域（如产品说明书问答）开始实践，逐步扩展到更复杂场景。