ChatGPT对话记录归档与检索：从存储策略到实战解决方案

1次阅读

共计 2291 个字符，预计需要花费 6 分钟才能阅读完成。

ChatGPT 生成的对话记录通常具有以下特点：

非结构化数据：对话内容自由格式，包含文本、代码片段、甚至多媒体引用
上下文关联性：多轮对话间存在逻辑依赖，单独检索单条记录可能失去意义
元数据丰富：包含时间戳、角色标记（user/assistant）、会话 ID 等

直接存储原始 API 返回的 JSON 会带来以下问题：

存储膨胀：重复的元数据和结构标记可能占 50% 以上空间
查询低效：全文本扫描 JSON 字段的 LIKE 查询无法利用索引
维护困难：API 版本升级可能导致数据结构变化

类型	优势	劣势	适用场景
PostgreSQL	事务支持完善，复杂查询能力强	需要严格 Schema 设计	需要 ACID 保证的核心数据
MongoDB	灵活文档结构，水平扩展容易	内存消耗大，聚合查询性能一般	快速迭代的原型阶段
S3	成本极低，无限容量	无法直接查询内容	冷数据归档
Elasticsearch	实时全文检索，支持语义相似度	运维复杂度高	高频检索的生产环境

# 建议的索引映射（Python 字典格式）mapping = {
    "properties": {"session_id": {"type": "keyword"},
        "turn_index": {"type": "integer"},
        "timestamp": {"type": "date"},
        "role": {"type": "keyword"},
        "content": {
            "type": "text",
            "analyzer": "ik_max_word",  # 中文分词
            "fields": {"keyword": {"type": "keyword"}
            }
        },
        "entities": {"type": "nested"}  # 提取的命名实体
    }
}

import re
from datetime import datetime

def clean_content(text):
    """移除敏感信息和标准化格式"""
    # 移除 API 密钥等敏感信息
    text = re.sub(r'sk-[a-zA-Z0-9]{24}', '[REDACTED]', text)
    # 标准化时间戳
    text = re.sub(r'\d{4}-\d{2}-\d{2}T\d{2}:\d{2}:\d{2}', 
                lambda m: datetime.strptime(m.group(), '%Y-%m-%dT%H:%M:%S').isoformat(), 
                text)
    return text

def extract_entities(text):
    """使用 spaCy 或类似库提取实体"""
    # 实现示例省略...
    return ["实体 1", "实体 2"]

from elasticsearch import Elasticsearch, helpers

es = Elasticsearch()

def bulk_index(docs, index_name):
    actions = [
        {
            "_index": index_name,
            "_source": {"session_id": doc["session_id"],
                "content": clean_content(doc["content"]),
                "entities": extract_entities(doc["content"])
                # 其他字段...
            }
        }
        for doc in docs
    ]

    # 使用 helpers.bulk 自动处理批量和重试
    success, _ = helpers.bulk(es, actions, stats_only=True)
    return success

def semantic_search(query, index_name, size=5):
    """带权重调整的 BM25 搜索"""
    body = {
        "query": {
            "bool": {
                "should": [
                    {
                        "match": {
                            "content": {
                                "query": query,
                                "boost": 2.0  # 内容字段权重更高
                            }
                        }
                    },
                    {"term": {"entities": {"value": query, "boost": 1.5}}}
                ]
            }
        }
    }

    return es.search(index=index_name, body=body, size=size)