ChatGPT访问入口的高效实现与优化：从API调用到生产环境部署

1次阅读

共计 1932 个字符，预计需要花费 5 分钟才能阅读完成。

直接调用 ChatGPT API 时，开发者常会遇到几个典型问题：

速率限制 ：OpenAI 对 API 调用有严格的每分钟 / 每天的请求限制，超过限制会导致请求失败
高延迟 ：特别是在非美国地区，API 响应时间可能高达数秒，影响用户体验
错误处理复杂 ：网络波动、服务端错误等需要完善的错误处理机制
并发管理困难 ：如何高效利用有限的 API 配额同时处理大量用户请求

这些问题在将 ChatGPT 集成到生产环境时尤为突出，需要系统性的解决方案。

简单轮询
优点：实现简单
缺点：延迟高，资源浪费
长轮询
优点：减少无效请求
缺点：仍然需要保持连接
WebSocket
优点：实时双向通信
缺点：实现复杂，服务端支持有限
推荐方案：请求队列 + 智能重试
结合队列管理和错误重试机制
平衡性能和实现复杂度

import openai
import time
from tenacity import retry, stop_after_attempt, wait_exponential

@retry(stop=stop_after_attempt(3), wait=wait_exponential(multiplier=1, min=4, max=10))
async def chat_completion_with_retry(messages, model="gpt-3.5-turbo"):
    try:
        response = await openai.ChatCompletion.create(
            model=model,
            messages=messages,
            timeout=10  # 设置超时
        )
        return response.choices[0].message.content
    except openai.error.RateLimitError:
        # 特殊处理速率限制错误
        time.sleep(5)  # 增加额外等待
        raise

class RequestQueue {constructor(maxConcurrent) {this.queue = [];
    this.activeCount = 0;
    this.maxConcurrent = maxConcurrent;
  }

  async enqueue(requestFn) {return new Promise((resolve, reject) => {const execute = async () => {
        this.activeCount++;
        try {const result = await requestFn();
          resolve(result);
        } catch (error) {reject(error);
        } finally {
          this.activeCount--;
          this.processQueue();}
      };

      this.queue.push(execute);
      this.processQueue();});
  }

  processQueue() {while (this.queue.length > 0 && this.activeCount < this.maxConcurrent) {const nextRequest = this.queue.shift();
      nextRequest();}
  }
}

from datetime import timedelta
from django.core.cache import cache

def get_cached_response(prompt, ttl=3600):
    cache_key = f"chatgpt:{hash(prompt)}"
    response = cache.get(cache_key)

    if not response:
        response = chat_completion_with_retry([{"role": "user", "content": prompt}])
        cache.set(cache_key, response, timeout=ttl)

    return response