ChatGPT付费API技术解析：从接入到优化的完整指南

1次阅读

共计 2425 个字符，预计需要花费 7 分钟才能阅读完成。

随着 ChatGPT API 的广泛应用，开发者在生产环境中遇到了几个关键挑战：

响应延迟问题 ：尤其是在高并发场景下，API 响应时间会显著增加，影响用户体验。
Token 计费优化 ：按 token 计费模式下，如何精确控制成本成为一大难题。
并发限制 ：API 有严格的速率限制，超出限制会导致请求失败。
错误处理 ：网络波动或 API 临时不可用时的重试机制需要完善。
预算控制 ：如何在长期运行中确保不超出预算限制。

每个 API 调用固定费用
适合短对话场景
实现简单，但长对话不划算

费用与输入和输出的 token 总数相关
适合各种对话长度
需要精确的 token 计算和控制

import openai
from concurrent.futures import ThreadPoolExecutor

# 初始化 API 客户端
openai.api_key = 'your-api-key'

def process_batch(messages):
    """处理一批消息"""
    try:
        response = openai.ChatCompletion.create(
            model="gpt-3.5-turbo",
            messages=messages,
            max_tokens=100
        )
        return response.choices[0].message.content
    except Exception as e:
        print(f"Error processing message: {e}")
        return None

# 批处理请求
def batch_process(messages_list, batch_size=5):
    with ThreadPoolExecutor(max_workers=5) as executor:
        results = list(executor.map(process_batch, messages_list))
    return results

const {Configuration, OpenAIApi} = require('openai');

const configuration = new Configuration({apiKey: process.env.OPENAI_API_KEY,});
const openai = new OpenAIApi(configuration);

async function calculateTokens(text) {
  // 简单估算 token 数量
  return Math.ceil(text.length / 4);
}

async function getChatResponse(messages, budgetRemaining) {const inputTokens = await calculateTokens(JSON.stringify(messages));
  const maxOutputTokens = Math.min(100, budgetRemaining - inputTokens);

  if (maxOutputTokens <= 0) {throw new Error('Budget exhausted');
  }

  const response = await openai.createChatCompletion({
    model: "gpt-3.5-turbo",
    messages: messages,
    max_tokens: maxOutputTokens
  });

  return {response: response.data.choices[0].message.content,
    tokensUsed: response.data.usage.total_tokens
  };
}

import time
from tenacity import retry, stop_after_attempt, wait_exponential

@retry(stop=stop_after_attempt(3), wait=wait_exponential(multiplier=1, min=4, max=10))
def reliable_api_call(messages):
    try:
        response = openai.ChatCompletion.create(
            model="gpt-3.5-turbo",
            messages=messages,
            max_tokens=100
        )
        return response.choices[0].message.content
    except Exception as e:
        print(f"API call failed: {e}")
        raise

通过批处理和并发优化，我们实现了以下性能提升：