ChatGPT多轮对话技术解析：从会话状态管理到上下文保持

1次阅读

共计 1762 个字符，预计需要花费 5 分钟才能阅读完成。

对话状态 (Dialogue State)
指对话过程中需要维护的临时信息，包括用户意图、已填写的参数、对话轮次等。例如订餐场景中，系统需要记住用户选择的菜品、送餐地址等信息。
上下文窗口 (Context Window)
ChatGPT 模型（如 gpt-3.5-turbo）当前支持的上下文长度约为 4096 个 token（截至 2023 年 6 月）。超过该限制时，最早的对话内容会被自动丢弃。
Token 限制
1 个 token 约等于 0.75 个英文单词或 1 个中文字符。输入和输出的总 token 数会计入 API 调用成本，且影响响应速度。

会话中断问题
当用户长时间未响应或更换设备时，传统的无状态服务会丢失对话进度。需要设计会话恢复机制。
意图漂移 (Intent Drift)
在长对话中，模型可能逐渐偏离初始话题。实验显示，超过 20 轮对话后，约 35% 的会话会出现明显主题偏移。
上下文丢失
当对话内容超过上下文窗口时，关键信息被截断可能导致逻辑断裂。例如用户说 ” 不要刚才提到的辣椒 ”，但 ” 辣椒 ” 的提及已被移除上下文。

方案	优点	缺点	适用场景
完整会话缓存	信息无损	消耗大量 token	短对话 (<15 轮)
摘要压缩	节省 50%-70%token	可能丢失细节	中等长度对话
向量检索	可精确召回历史信息	实现复杂度高	知识密集型对话
关键参数提取	内存占用极低	需预定义参数结构	表单填写类对话

class DialogueManager:
    """基于摘要压缩的对话状态管理"""

    def __init__(self, max_histories=5):
        self.histories = []  # 原始对话记录
        self.summaries = []  # 摘要缓存
        self.MAX_HISTORIES = max_histories

    def add_message(self, role: str, content: str):
        """添加新消息并自动触发摘要压缩"""
        self.histories.append({'role': role, 'content': content})

        if len(self.histories) > self.MAX_HISTORIES * 2:
            self._compress_histories()

    def _compress_histories(self):
        """使用 GPT 生成对话摘要"""
        oldest_messages = self.histories[:self.MAX_HISTORIES]
        prompt = f"总结以下对话的核心信息:\n{oldest_messages}"

        # 实际应用中调用 ChatCompletion API
        summary = "用户咨询了产品价格和保修政策，确认了黑色型号有库存"

        self.summaries.append(summary)
        self.histories = self.histories[self.MAX_HISTORIES:]

    def get_context(self):
        """构建 API 调用所需的上下文"""
        return [*[{'role': 'system', 'content': s} for s in self.summaries],
            *self.histories
        ]

内存占用
完整缓存方案：每 1000token 约占用 2KB 内存
摘要压缩方案：内存减少 60%-80%
API 成本
| 模型 | 输入 token 成本 | 输出 token 成本 |
|—————|————–|————–|
| gpt-3.5-turbo | $0.0015/1K | $0.002/1K |
| gpt-4 | $0.03/1K | $0.06/1K |
延迟影响
上下文长度每增加 1000token，API 响应时间增加 200-500ms