ChatGPT开发实战：从API调用到生产环境部署的完整指南

1次阅读

共计 1962 个字符，预计需要花费 5 分钟才能阅读完成。

在集成 ChatGPT API 时，开发者常遇到三个主要挑战：

API 速率限制（Rate Limiting）：免费版每分钟仅支持 3 次请求，即使付费版也有阶梯式限制。突发流量容易触发 429 错误
长对话上下文管理（Context Management）：gpt-3.5-turbo 模型的 4096 tokens 限制，导致长对话时丢失早期信息
响应延迟（Latency）：复杂请求的响应时间可能超过 10 秒，直接影响用户体验

# 最简调用示例
import openai

response = openai.ChatCompletion.create(
  model="gpt-3.5-turbo",
  messages=[{"role": "user", "content": "解释量子计算"}]
)

优点：
– 零中间件依赖
– 适合快速验证

缺点：
– 无重试机制
– 需自行处理限流

flowchart TD
    A[客户端] --> B{代理层}
    B -->| 缓存命中 | C[返回历史响应]
    B -->| 未命中 | D[调用 OpenAI API]
    D --> E[记录监控指标]

优点：
– 可添加缓存层
– 统一错误处理

适用场景 ：
– 简单意图识别使用本地小模型
– 复杂生成任务才调用 ChatGPT

from tenacity import retry, stop_after_attempt, wait_exponential

@retry(stop=stop_after_attempt(3), 
       wait=wait_exponential(multiplier=1, min=4, max=10))
def chat_completion_with_retry(messages):
    try:
        return openai.ChatCompletion.create(
            model="gpt-3.5-turbo",
            messages=messages
        )
    except openai.error.RateLimitError:
        # 记录特殊监控指标
        raise

分块策略 ：
1. 维护固定长度的对话历史窗口
2. 自动移除最早的非系统消息
3. 关键信息摘要持久化存储

Token 计算工具 ：

import tiktoken

def num_tokens_from_messages(messages):
    encoding = tiktoken.get_encoding("cl100k_base")
    return sum(len(encoding.encode(msg["content"])) for msg in messages)

// Node.js 示例
const stream = await openai.createChatCompletion({
  model: "gpt-3.5-turbo",
  messages: [{role: "user", content: "写一个关于 AI 的故事"}],
  stream: true
});

stream.on('data', (chunk) => {process.stdout.write(chunk.choices[0]?.delta?.content || '');
});

令牌桶算法（Token Bucket）：限制每分钟请求数
熔断器模式（Circuit Breaker）：连续错误时临时阻断请求

from profanity_filter import ProfanityFilter

pf = ProfanityFilter()

def safe_response(text):
    if pf.is_profane(text):
        return "内容不符合使用规范"
    return text

关键指标 ：
P99 延迟 ≥800ms 时告警
错误率（5xx）超过 1% 时触发排查

实时计算 tokens 消耗

自动触发摘要生成：

def generate_summary(text):
    return chat_completion_with_retry([{"role": "system", "content": "用 20 字总结以下内容"},
        {"role": "user", "content": text}
    ])