AI编程新手必看：如何通过结构化提示词节省Token消耗

1次阅读

共计 1521 个字符，预计需要花费 4 分钟才能阅读完成。

最近在调用 OpenAI 的 API 开发聊天机器人时，我发现 Token 消耗直接关联着使用成本。以 GPT-3.5-turbo 为例，每 1000 个 Token 大约收费 0.002 美元。虽然看起来不多，但当你的应用需要处理大量用户请求时，这个成本会快速累积。

比如，一个简单的多轮对话场景，如果每次都将完整的对话历史发送给 API，很容易就会消耗数千 Token。对于个人开发者或初创公司来说，这可能会成为一笔不小的开销。

上下文截断：只保留最近几轮对话
优点：实现简单
缺点：可能丢失重要上下文信息
指令压缩：精简提示词和指令
优点：减少每次请求的 Token 数
缺点：需要精心设计提示词
结果缓存：存储常见问题的回答
优点：避免重复计算
缺点：不适用于个性化问题

通过 system 消息可以一次性设定 AI 的行为模式，避免在每次用户提问时重复说明。

import openai

response = openai.ChatCompletion.create(
    model="gpt-3.5-turbo",
    messages=[{"role": "system", "content": "你是一个专业的编程助手，用简洁的技术语言回答 Python 相关问题"},
        {"role": "user", "content": "如何用 Python 读取 CSV 文件？"}
    ]
)

要求 AI 返回结构化数据可以减少不必要的自然语言描述。

response = openai.ChatCompletion.create(
    model="gpt-3.5-turbo",
    messages=[{"role": "user", "content": "以 JSON 格式返回 Python 读取 CSV 文件的三种方法，包含示例代码"}
    ],
    response_format={"type": "json_object"}
)

对于长对话，可以定期生成摘要替代完整历史。

def summarize_context(conversation_history):
    # 生成对话摘要的代码
    summary_prompt = "请用 100 字以内总结以下对话要点:" + conversation_history
    summary = openai.ChatCompletion.create(
        model="gpt-3.5-turbo",
        messages=[{"role": "user", "content": summary_prompt}]
    )
    return summary.choices[0].message.content

我们对三种不同优化方案进行了测试（基于 100 次 API 调用平均值）：