ChatGPT使用网站的高效接入方案与性能优化实践

1次阅读

没有评论

共计 1920 个字符，预计需要花费 5 分钟才能阅读完成。

在网站中直接调用 ChatGPT API 时，开发者常遇到三个核心问题：

速率限制 ：OpenAI 对免费和付费账户都有每分钟 / 每天的请求上限，突发流量容易触发 429 错误
响应延迟 ：单个请求平均响应时间在 2 - 5 秒，用户等待时间过长会导致跳出率上升
成本不可控 ：按 token 计费模式下，长文本交互可能产生意外高额账单

优点：实现简单，代码量少
缺点：无法应对突发流量，延迟不可控

优点：将多个用户请求合并为单个 API 调用，减少请求次数
缺点：需要设计消息队列，增加系统复杂度

优点：实现逐字返回效果，提升用户体验
缺点：需要 WebSocket 支持，服务器资源消耗大

import openai
from queue import Queue
from threading import Thread

# 全局请求队列
request_queue = Queue(maxsize=100)

# 批处理工作线程
def batch_processor():
    while True:
        batch = []
        # 累积最多 10 个请求或等待 200ms
        while len(batch) < 10 and not request_queue.empty():
            try:
                batch.append(request_queue.get(timeout=0.2))
            except:
                pass

        if batch:
            # 构造批处理消息
            messages = [{"role": "user", "content": req['prompt']} for req in batch]

            try:
                response = openai.ChatCompletion.create(
                    model="gpt-3.5-turbo",
                    messages=messages,
                    max_tokens=150
                )

                # 分发响应
                for i, choice in enumerate(response.choices):
                    batch[i]['callback'](choice.message.content)
            except Exception as e:
                for req in batch:
                    req['callback'](f"Error: {str(e)}")

# 启动工作线程
Thread(target=batch_processor, daemon=True).start()

# 用户请求接口
def ask_chatgpt(prompt, callback):
    request_queue.put({"prompt": prompt, "callback": callback})

保持长连接减少 TCP 握手开销
建议并发连接数不超过 CPU 核心数的 2 倍

import httpx

client = httpx.Client(timeout=httpx.Timeout(connect=5.0, read=30.0, write=10.0),
    limits=httpx.Limits(max_connections=8)
)

采用指数退避算法：

from tenacity import retry, stop_after_attempt, wait_exponential

@retry(stop=stop_after_attempt(3),
    wait=wait_exponential(multiplier=1, min=4, max=10)
)
def safe_api_call(prompt):
    return openai.ChatCompletion.create(...)

永远不要在前端暴露密钥
使用环境变量或密钥管理服务

import re

def sanitize_input(text):
    # 移除危险 HTML 标签
    text = re.sub(r'<script.*?>.*?</script>', '', text, flags=re.IGNORECASE)
    # 限制最大长度
    return text[:2000]