ChatGPT API成本优化实战：如何降低大模型调用价格

1次阅读

共计 1890 个字符，预计需要花费 5 分钟才能阅读完成。

随着 ChatGPT API 的广泛应用，越来越多的开发者发现调用成本居高不下。这主要是因为 ChatGPT API 采用按 token 计费的方式，而 token 的计算方式往往超出预期。

按 token 计费的特点
输入和输出的 token 都会被计入费用
不同模型 (token 单价不同 (gpt-3.5-turbo 比 gpt- 4 便宜很多)
系统提示词也会占用 token
常见的成本陷阱
长对话中重复传递完整历史记录
非必要的系统提示词占用 token
未优化的输出长度控制
忘记设置 temperature 等参数导致生成内容过长

使用 Redis 缓存常见问题和标准回答，避免重复调用 API。

import redis
import hashlib

# 连接 Redis
r = redis.Redis(host='localhost', port=6379, db=0)

def get_cached_response(user_query):
    # 生成查询的 hash 作为 key
    query_hash = hashlib.md5(user_query.encode()).hexdigest()
    cached = r.get(f'chatgpt:{query_hash}')
    return cached.decode() if cached else None

def cache_response(user_query, response):
    query_hash = hashlib.md5(user_query.encode()).hexdigest()
    # 设置 1 小时过期时间
    r.setex(f'chatgpt:{query_hash}', 3600, response)

成本节省 ：对于 FAQ 类问题，缓存命中率可达 60-80%，节省对应 API 调用费用。

将多个用户请求合并为一个 API 调用，减少请求次数。

import asyncio
from openai import AsyncOpenAI

client = AsyncOpenAI()

async def batch_process_queries(queries):
    # 将多个查询合并为一个请求
    batch_prompt = "\n---\n".join(queries)
    response = await client.chat.completions.create(
        model="gpt-3.5-turbo",
        messages=[{"role": "user", "content": batch_prompt}],
    )
    return response.choices[0].message.content.split("\n---\n")

成本节省 ：批处理 5 个请求可减少约 30% 的调用成本（因为减少了固定开销）。

使用 Prometheus 监控 API 用量，设置告警阈值。

# prometheus.yml 配置片段
scrape_configs:
  - job_name: 'chatgpt_usage'
    static_configs:
      - targets: ['localhost:8000']

# 告警规则
rule_files:
  - 'chatgpt_alerts.yml'

# chatgpt_alerts.yml
groups:
- name: chatgpt
  rules:
  - alert: HighTokenUsage
    expr: sum(rate(chatgpt_tokens_total[5m])) by (project) > 100000
    for: 10m
    labels:
      severity: critical
    annotations:
      summary: "High token usage detected in {{$labels.project}}"

成本节省 ：及时告警可避免意外高额账单，典型情况下可减少 15-20% 的意外支出。