ChatGPT API实战：如何高效保存知识库和上下文的最佳实践

1次阅读

没有评论

共计 1382 个字符，预计需要花费 4 分钟才能阅读完成。

使用 ChatGPT API 时，最大的挑战之一就是如何有效地保存和管理对话上下文。传统的会话管理方式通常存在以下几个问题：

每次 API 调用都是独立请求，如果不主动保存，上下文信息会丢失
简单的内存存储无法应对服务重启或分布式部署场景
随着对话轮数增加，上下文长度会迅速超过 token 限制
自定义知识库需要高效的检索机制才能发挥作用

优点：实现简单，无需额外依赖
缺点：不适用于分布式环境，重启后数据丢失

优点：数据持久化，支持复杂查询
缺点：不适合存储和检索大段文本，性能较差

优点：专为语义搜索优化，检索速度快
缺点：需要额外处理向量化步骤，学习曲线稍陡

import json

# 保存上下文
def save_context(conversation_id, messages):
    with open(f'context_{conversation_id}.json', 'w') as f:
        json.dump(messages, f)

# 加载上下文
def load_context(conversation_id):
    try:
        with open(f'context_{conversation_id}.json', 'r') as f:
            return json.load(f)
    except FileNotFoundError:
        return []

from sentence_transformers import SentenceTransformer
import faiss
import numpy as np

# 初始化模型和索引
model = SentenceTransformer('all-MiniLM-L6-v2')
index = faiss.IndexFlatL2(384)  # 向量维度

# 添加知识库文档
def add_to_knowledge(text):
    embedding = model.encode([text])
    index.add(embedding)

# 查询相关文档
def query_knowledge(text, k=3):
    embedding = model.encode([text])
    distances, indices = index.search(embedding, k)
    return indices[0]