构建基于检索增强生成的中文文化常识问答系统：架构设计与工程实践

1次阅读

没有评论

共计 1874 个字符，预计需要花费 5 分钟才能阅读完成。

传统中文文化常识问答系统在实际应用中常常面临几个核心问题：

知识更新滞后 ：文化常识随着时间和社会变迁不断演化，但传统系统往往依赖静态知识库，导致无法及时反映最新的文化现象和解释。
长尾问题处理能力差 ：对于不常见或细分领域的文化问题，传统系统要么无法回答，要么给出不准确的答案，用户体验大打折扣。
回答缺乏上下文适应性 ：同样的问题在不同语境下可能需要不同的答案，传统系统通常采用固定模板，无法灵活应对多变的用户需求。

在解决上述问题时，我们对比了三种主流技术方案：

纯生成式模型
优点：回答灵活，能够处理开放性问题
缺点：容易产生事实性错误，知识更新依赖模型重新训练
指标：生成质量中等，召回率低，响应延迟中等
纯检索式系统
优点：回答准确性高，知识更新相对容易
缺点：无法处理未见问题，回答缺乏灵活性
指标：生成质量高，召回率中等，响应延迟低
检索增强生成 (RAG)
优点：结合两者优势，动态更新知识库，回答既准确又灵活
缺点：系统复杂度较高
指标：生成质量高，召回率高，响应延迟中等偏高

我们的系统采用三层架构：

检索模块 ：负责从知识库中快速找到相关文档
路由模块 ：决定何时使用检索结果，何时直接生成回答
生成模块 ：基于检索结果和用户问题生成最终回答

我们使用 FAISS 进行稠密向量检索，关键优化点包括：

import faiss
import numpy as np

# 构建 FAISS 索引
def build_faiss_index(embeddings):
    dimension = embeddings.shape[1]
    index = faiss.IndexFlatIP(dimension)  # 使用内积作为相似度度量

    # 对向量进行归一化处理
    faiss.normalize_L2(embeddings)
    index.add(embeddings)

    # 优化：使用 HNSW 替代 Flat 索引提升检索效率
    # index = faiss.IndexHNSWFlat(dimension, 32)
    # index.hnsw.efConstruction = 40
    # index.add(embeddings)

    return index

# 批量建库优化
def batch_indexing(documents, embedding_model, batch_size=1000):
    all_embeddings = []
    for i in range(0, len(documents), batch_size):
        batch = documents[i:i+batch_size]
        embeddings = embedding_model.encode(batch)
        all_embeddings.append(embeddings)

    return np.concatenate(all_embeddings)

针对中文文化常识特点，我们设计了专门的提示模板：

def build_prompt(question, retrieved_docs):
    template = """ 你是一位中国文化专家，请根据以下参考资料回答问题。参考资料：{context}

问题：{question}

回答时请注意：1. 保持回答的专业性和准确性
2. 如果参考资料不足以回答问题，请明确说明
3. 使用中文回答，语言风格要符合文化常识传播的要求
"""context ='\n'.join([f"- {doc}" for doc in retrieved_docs])
    return template.format(context=context, question=question)

高并发场景下，我们采用以下策略：