ChatGPT知识库构建实战：从零搭建到生产环境部署

1次阅读

没有评论

共计 2203 个字符，预计需要花费 6 分钟才能阅读完成。

在企业级应用中，传统的 FAQ 系统通常面临以下问题：

维护成本高：每次知识更新都需要人工重新整理问题和答案
查询准确度低：只能匹配预设问题，无法理解用户意图的细微差别
扩展性差：新增知识需要修改系统逻辑

相比之下，基于大模型的知识库系统具有明显优势：

语义理解：能够理解用户问题的真实意图
自动扩展：新知识可以无缝整合到现有系统中
持续学习：通过反馈机制不断优化回答质量

使用 OpenAI 的 text-embedding-ada-002 模型生成知识向量。这个模型在速度和准确性之间取得了很好的平衡，适合企业级应用。

我们对比了几种主流向量数据库：

Chroma：轻量级，适合小规模应用和快速原型开发
Pinecone：全托管服务，适合企业级生产环境
Milvus：开源方案，适合需要高度定制的场景

对于大多数企业应用，我们推荐 Pinecone，因为它提供了：

自动扩展
内置高可用
简单易用的 API

为了提高响应速度，我们设计了两级缓存：

Redis 缓存：存储高频查询的 embedding 结果
内存缓存：存储当前会话的上下文信息

这种分层设计可以在保证响应速度的同时，减少对向量数据库的查询压力。

import openai
from tenacity import retry, stop_after_attempt, wait_exponential

@retry(stop=stop_after_attempt(3), wait=wait_exponential(multiplier=1, min=4, max=10))
def get_embedding(text: str, model="text-embedding-ada-002") -> list[float]:
    """
    获取文本的 embedding 表示
    :param text: 输入文本
    :param model: 使用的 embedding 模型
    :return: embedding 向量
    """text = text.replace("\n"," ")
    response = openai.Embedding.create(input=[text], model=model)
    return response['data'][0]['embedding']

from sklearn.metrics.pairwise import cosine_similarity
import numpy as np

def hybrid_search(query: str, keyword_results: list, vector_results: list, alpha=0.3) -> list:
    """
    混合检索算法
    :param query: 用户查询
    :param keyword_results: 关键词检索结果
    :param vector_results: 向量检索结果
    :param alpha: 关键词权重系数
    :return: 排序后的结果列表
    """
    # 给关键词结果分配基础分数
    keyword_scores = {doc['id']: (1 - alpha) * doc['score'] for doc in keyword_results}

    # 给向量结果分配基础分数
    vector_scores = {doc['id']: alpha * doc['score'] for doc in vector_results}

    # 合并分数
    combined_scores = {}
    all_ids = set(keyword_scores.keys()).union(set(vector_scores.keys()))
    for doc_id in all_ids:
        combined_scores[doc_id] = keyword_scores.get(doc_id, 0) + vector_scores.get(doc_id, 0)

    # 按分数排序
    sorted_results = sorted(combined_scores.items(), key=lambda x: x[1], reverse=True)
    return sorted_results

我们实现了指数退避策略来处理 API 限流：