ChatGPT Token收费优化指南：如何降低API调用成本

1次阅读

没有评论

共计 2386 个字符，预计需要花费 6 分钟才能阅读完成。

ChatGPT API 采用按 token 收费的模式，这里的 token 不是传统意义上的会话令牌，而是文本处理的基本单位。具体来说：

英文中 1 个 token 约等于 4 个字符
中文 1 个汉字通常为 2 - 3 个 token
标点符号、空格也都计入 token

在长对话和复杂查询场景下，token 消耗会快速累积：

多轮对话时，每次请求都需要携带完整上下文历史
复杂查询往往需要详细描述问题背景
系统提示词 (prompt) 会固定占用部分 token

实测数据显示，一个包含 10 轮对话的 session 可能消耗 8000+token，按照 gpt-3.5-turbo 的 $0.002/1K tokens 计算，单次对话成本就达 $0.016。对于高频调用的应用，这笔开销不容忽视。

优化提示词是减少 token 消耗的最直接方法：

删除冗余修饰词
将 ” 请用非常详细和专业的语言解释 ” 简化为 ” 解释 ”
“ 能否请你 ” -> “ 请 ”
使用标准缩写
“ 例如 ” -> “e.g.”
“ 也就是说 ” -> “i.e.”
简化示例结构
用伪代码代替完整代码示例
用类型提示替代详细注释

测试表明，经过优化的提示词可以节省 15-30% 的 token 用量，而对输出质量影响微乎其微。

实现高效的上下文管理：

生成对话摘要
每 3 - 5 轮对话生成一次关键信息摘要
后续请求携带摘要而非完整历史
LRU 缓存实现
为每个会话维护缓存队列
设置合理的 TTL(如 30 分钟)
向量化检索
用 embedding 存储历史问答对
新问题时先检索相似历史记录

gpt-3.5-turbo 与 gpt- 4 的成本对比：

模型	输入 token 成本	输出 token 成本	适合场景
gpt-3.5-turbo	$0.0015/1K	$0.002/1K	通用对话、代码补全
gpt-4	$0.03/1K	$0.06/1K	复杂推理、创意生成

建议先用 gpt-3.5-turbo 测试效果，仅在必要时切换 gpt-4。

def generate_dialog_summary(messages: list, model="gpt-3.5-turbo") -> str:
    """
    生成对话摘要，保留关键信息
    :param messages: 原始对话记录
    :param model: 使用的模型版本
    :return: 摘要文本
    """prompt =""" 请将以下对话压缩为不超过 100 字的摘要，保留:
    1. 核心问题
    2. 关键结论
    3. 待解决事项
    对话记录:
    """+'\n'.join([f"{m['role']}: {m['content']}" for m in messages])

    response = openai.ChatCompletion.create(
        model=model,
        messages=[{"role": "user", "content": prompt}],
        max_tokens=150
    )
    return response.choices[0].message.content

from datetime import datetime, timedelta
import hashlib

class DialogCache:
    def __init__(self, max_size=100, ttl=1800):
        self.cache = {}
        self.max_size = max_size
        self.ttl = timedelta(seconds=ttl)

    def _get_key(self, session_id: str) -> str:
        return hashlib.md5(session_id.encode()).hexdigest()

    def get(self, session_id: str) -> list:
        key = self._get_key(session_id)
        if key in self.cache and datetime.now() - self.cache[key]['time'] < self.ttl:
            return self.cache[key]['messages']
        return None

    def set(self, session_id: str, messages: list):
        if len(self.cache) >= self.max_size:
            oldest_key = min(self.cache, key=lambda k: self.cache[k]['time'])
            del self.cache[oldest_key]

        key = self._get_key(session_id)
        self.cache[key] = {
            'messages': messages,
            'time': datetime.now()}