ChatGPT API 高效使用方法：从基础调用到生产环境优化

1次阅读

共计 1806 个字符，预计需要花费 5 分钟才能阅读完成。

直接调用 ChatGPT API 时，开发者常遇到三个典型问题：

高延迟问题：同步阻塞式调用导致用户等待时间过长，尤其在生成长文本时体验较差
token 浪费 ：不合理的 max_tokens 设置或未启用流式响应(streaming response) 造成无效 token 消耗
对话状态维护困难：多轮对话场景下需要手动管理上下文(context)，容易丢失历史消息

Completions API：
适合单次补全任务
需要自行拼接 prompt 历史
示例场景：代码补全、短文续写
Chat API：
原生支持多轮对话
自动维护消息角色 (role) 标识
示例场景：客服对话、教学辅导

# 启用 stream 的响应处理示例
async for chunk in response:
    if chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end='')

减少首字节时间(TTFB)50% 以上
允许逐步显示内容而非等待完整响应
特别适合网页聊天场景

import openai
from tenacity import (
    retry,
    stop_after_attempt,
    wait_exponential,
    retry_if_exception_type
)

# 包含退避策略的重试装饰器
@retry(stop=stop_after_attempt(3),
    wait=wait_exponential(multiplier=1, min=4, max=10),
    retry=retry_if_exception_type(openai.error.APIError)
)
async def chat_completion_with_backoff(**kwargs):
    try:
        return await openai.ChatCompletion.acreate(**kwargs)
    except Exception as e:
        print(f"API 调用异常: {str(e)}")
        raise

import asyncio
from concurrent.futures import ThreadPoolExecutor

class AsyncChatProcessor:
    def __init__(self):
        self.executor = ThreadPoolExecutor(max_workers=5)

    async def process_message(self, queue):
        while True:
            message = await queue.get()
            loop = asyncio.get_event_loop()
            response = await loop.run_in_executor(
                self.executor,
                self._call_api_sync,
                message
            )
            # 处理响应...
            queue.task_done()

temperature：
0.2-0.5：事实性回答
0.7-1.0：创造性内容
max_tokens：
根据平均响应长度设置上限
结合 stop_sequences 提前终止

from functools import lru_cache

@lru_cache(maxsize=50)
def get_prompt_template(template_name):
    # 从数据库或文件加载模板
    return load_template(template_name)

def safety_check(content: str) -> bool:
    blacklist = ["暴力", "违禁品"]  # 实际应从配置加载
    return not any(bad_word in content for bad_word in blacklist)

# 在 API 响应处理前调用
if not safety_check(response_content):
    return "内容不符合安全规范"