ChatGPT创建知识库：从零构建企业级智能问答系统的技术实践

1次阅读

共计 2307 个字符，预计需要花费 6 分钟才能阅读完成。

企业知识库的核心需求通常集中在产品文档管理、客服问答系统等场景。传统的关键词检索方案（如基于 Elasticsearch 的搜索）存在明显不足：

语义理解能力弱：无法处理同义词、近义词或上下文相关的查询
多轮对话支持差：难以维持对话状态和理解指代关系
结果相关性低：纯粹基于词频统计，缺乏对用户意图的深层理解

维度	传统方案(Elasticsearch)	GPT 知识库方案
语义理解	基于关键词匹配	基于深度语义嵌入
多轮对话	需额外开发对话管理	原生支持上下文理解
开发成本	低	中等
响应速度	快(ms 级)	较慢(300-500ms)
维护复杂度	高(需维护词库)	低(自动适应语言变化)

非结构化数据 (如 PDF/HTML) 的处理策略：

使用 PyPDF2 或 BeautifulSoup 提取原始文本
按语义段落进行分块(建议每块 300-500token)
清洗特殊字符和冗余信息
添加元数据(如来源、更新时间等)

# PDF 文本提取示例
import PyPDF2

def extract_pdf_text(file_path):
    text = ""
    try:
        with open(file_path, 'rb') as file:
            reader = PyPDF2.PdfReader(file)
            for page in reader.pages:
                text += page.extract_text()
    except Exception as e:
        print(f"Error processing {file_path}: {str(e)}")
    return text

使用 OpenAI Embeddings API 将文本转换为向量：

import openai
from tenacity import retry, stop_after_attempt, wait_exponential

@retry(stop=stop_after_attempt(3), wait=wait_exponential(multiplier=1, min=4, max=10))
def get_embedding(text, model="text-embedding-ada-002"):
    text = text.replace("\n", " ")
    try:
        response = openai.Embedding.create(input=[text], 
            model=model
        )
        return response['data'][0]['embedding']
    except Exception as e:
        print(f"Embedding error: {str(e)}")
        raise

推荐使用 FAISS 进行本地向量检索，或 Pinecone 作为云端解决方案：

import faiss
import numpy as np

# 创建 FAISS 索引
dimension = 1536  # ada-002 的向量维度
index = faiss.IndexFlatIP(dimension)

# 添加向量到索引
vectors = np.array([get_embedding(text) for text in texts]).astype('float32')
index.add(vectors)

# 相似度查询
def query_index(query_text, k=5):
    query_vector = np.array([get_embedding(query_text)]).astype('float32')
    distances, indices = index.search(query_vector, k)
    return [(texts[i], float(distances[0][j])) 
            for j, i in enumerate(indices[0])]

缓存机制：
对常见查询结果建立 LRU 缓存
向量结果缓存有效期设置 24 小时
异步处理：
使用 Celery 或 asyncio 处理耗时的 Embedding 生成
实现请求批处理(batch processing)
冷启动优化：
预加载高频查询的 Embedding
实现渐进式索引构建

对长文档采用重叠分块策略(相邻块保留 20% 重叠内容)
实现自动摘要生成作为 fallback
使用 tiktoken 库精确计算 token 数量

构建关键词 + 正则表达式的过滤规则
实现 PII(个人身份信息)检测模块
在 API 调用前进行内容审查

# 简易敏感词过滤
SENSITIVE_WORDS = ["password", "credit card", ...]

def contains_sensitive(text):
    text_lower = text.lower()
    return any(word in text_lower for word in SENSITIVE_WORDS)