ChatGPT对话归档全攻略：从存储策略到实战代码

1次阅读

没有评论

共计 1919 个字符，预计需要花费 5 分钟才能阅读完成。

随着 ChatGPT 在各类应用中的集成，开发者们面临一个共同的挑战：如何高效管理不断增长的对话数据。这些数据不仅量大（单日可达 GB 级别），还需要考虑快速检索、合规存储以及长期归档的需求。

数据量爆炸 ：一个中型应用每天可能产生数万条对话记录
检索效率低下 ：简单的文件存储无法满足按用户、时间等维度的快速查询
合规压力 ：GDPR 等法规要求对敏感信息进行特殊处理

优点：强一致性、复杂查询支持完善、事务保证
缺点：水平扩展困难、存储成本较高

优点：灵活 schema、天然适合 JSON 格式、易于分片
缺点：join 操作效率低、内存消耗较大

优点：实现简单、存储成本低
缺点：检索能力弱、难以保证一致性

# 按月份分表存储，自动创建不存在的表
from sqlalchemy import create_engine, Column, Integer, String, DateTime
from sqlalchemy.ext.declarative import declarative_base
import datetime

Base = declarative_base()

def get_session_table(month):
    class Session(Base):
        __tablename__ = f'sessions_{month}'
        id = Column(Integer, primary_key=True)
        user_id = Column(String(36), index=True)  # O(1) 查询
        content = Column(String(5000))
        created_at = Column(DateTime, default=datetime.datetime.now)
    return Session

# 使用示例
table = get_session_table('2023_07')
engine = create_engine('postgresql://user:pass@localhost/db')
Base.metadata.create_all(engine)

// 按会话 ID 哈希分片
const {MongoClient} = require('mongodb');

class ChatArchiver {constructor() {this.client = new MongoClient('mongodb://localhost:27017');
    this.db = this.client.db('chat_archive');
    // 启用分片集合
    this.collection = this.db.collection('conversations');
  }

  async archive(sessionId, messages) {
    try {
      await this.collection.updateOne({ _id: sessionId},
        {$push: { messages: { $each: messages} } },
        {upsert: true}
      );
    } catch (err) {
      // 指数退避重试
      await new Promise(resolve => setTimeout(resolve, 1000));
      await this.archive(sessionId, messages);
    }
  }
}

组合索引策略：(user_id, created_at) 复合索引
读写分离：归档操作走从库

# 敏感信息过滤处理器
import re

def sanitize_text(text):
    # 移除邮箱 / 手机号等 PII
    text = re.sub(r'\b[A-Za-z0-9._%+-]+@[A-Za-z0-9.-]+\.[A-Z|a-z]{2,}\b', '[REDACTED]', text)
    return text[:5000]  # 截断超长内容