ChatGPT长对话卡顿优化实战：从原理到性能调优

1次阅读

共计 2525 个字符，预计需要花费 7 分钟才能阅读完成。

在开发基于 ChatGPT 的应用时，长对话场景下的性能问题是一个常见的痛点。随着对话轮次的增加，上下文 token 数量会线性增长，导致 API 响应时间显著变慢。根据测试，当上下文 token 超过 4000 时，API 响应时间可能从最初的 1 - 2 秒增加到 5 秒以上，严重影响用户体验。

长对话场景下，性能问题主要来自以下几个方面：

Token 增长问题 ：ChatGPT 的 API 收费和响应时间都与输入 token 数量直接相关
上下文管理开销 ：需要维护和传递越来越长的对话历史
内存压力 ：在服务端缓存大量对话历史会增加内存消耗

目前主要有三种处理长对话上下文的方法：

全量上下文 ：每次请求都发送完整对话历史
优点：信息完整，对话连贯性好
缺点：token 开销大，响应慢
增量上下文 ：只发送最近几轮对话
优点：token 数量可控
缺点：可能丢失重要上下文信息
摘要压缩 ：对历史对话生成摘要
优点：显著减少 token 数量
缺点：摘要可能丢失细节，需要额外处理

下面介绍一个结合 LRU 缓存和关键信息提取的优化方案。首先安装必要依赖：

pip install openai tiktoken

from collections import OrderedDict
import tiktoken

class DialogueCache:
    def __init__(self, max_size=10):
        self.cache = OrderedDict()
        self.max_size = max_size
        self.encoder = tiktoken.get_encoding("cl100k_base")

    def add(self, role: str, content: str) -> int:
        """添加对话到缓存，返回 token 数量"""
        token_count = len(self.encoder.encode(content))
        if len(self.cache) >= self.max_size:
            self.cache.popitem(last=False)
        self.cache[f"{role}_{len(self.cache)}"] = (content, token_count)
        return token_count

    def get_context(self) -> tuple[str, int]:
        """生成对话上下文和总 token 数"""
        context = []
        total_tokens = 0
        for content, tokens in self.cache.values():
            context.append(content)
            total_tokens += tokens
        return "\n".join(context), total_tokens

时间复杂度分析：
– add 操作：O(1)，因为 OrderedDict 的插入和删除都是常数时间
– get_context 操作：O(n)，n 为缓存中的对话数量

import openai

def extract_key_info(text: str) -> str:
    """使用 ChatGPT 提取关键信息"""
    prompt = f"""请从以下文本中提取关键信息，保留重要事实和意图，尽量简洁：\n\n{text}"""
    response = openai.ChatCompletion.create(
        model="gpt-3.5-turbo",
        messages=[{"role": "user", "content": prompt}],
        max_tokens=200
    )
    return response.choices[0].message.content

def optimize_tokens(cache: DialogueCache, threshold: int = 3000) -> str:
    """当 token 超过阈值时进行优化"""
    context, total_tokens = cache.get_context()
    if total_tokens <= threshold:
        return context

    # 对最早的 50% 对话进行摘要压缩
    compressed = []
    items = list(cache.cache.items())
    for i in range(len(items) // 2):
        key, (content, _) = items[i]
        compressed.append(extract_key_info(content))
        cache.cache.pop(key)

    # 添加压缩后的内容回缓存
    for content in compressed:
        cache.add("system", f"[ 摘要] {content}")

    return cache.get_context()[0]

测试环境：
– CPU: Intel i7-10750H
– RAM: 16GB
– Python: 3.9
– OpenAI API: 2023-05-13 版本

测试结果（处理 100 轮对话）：