ChatGPT响应缓慢问题诊断与优化指南：从网络配置到并发处理

1次阅读

共计 1675 个字符，预计需要花费 5 分钟才能阅读完成。

TCP 连接建立 ：HTTP 请求需要经历 TCP 三次握手、TLS 协商等步骤，尤其在跨地域访问时，网络延迟可能占总耗时的 30% 以上。使用curl -w "%{time_total}s\n" 可测量真实网络开销。
令牌桶算法 ：API 默认采用令牌桶限流（如 GPT-3.5 的 60 RPM/20 TPM），突发流量会导致请求排队。通过响应头x-ratelimit-remaining 可实时监控额度。
上下文长度 ：输入文本每增加 1000token，响应延迟约增长 200ms。建议使用tiktoken 库预计算 token 数，避免超限：
```
import tiktoken
enc = tiktoken.encoding_for_model("gpt-4")
len(enc.encode("你的文本"))
```

连接策略
短连接：每次请求新建连接，简单但高延迟（约多 300ms/ 次）
连接池：复用 TCP 连接（推荐 aiohttp.ClientSession），降低 80% 握手开销
调用方式
同步：代码简单但阻塞线程，适合低频场景
异步：提高 IO 利用率，推荐 asyncio+aiohttp 组合

import aiohttp
import asyncio
from tenacity import retry, stop_after_attempt, wait_exponential

@retry(stop=stop_after_attempt(3), wait=wait_exponential(multiplier=1, min=4, max=10))
async def chat_completion(session, prompt):
    try:
        async with session.post(
            "https://api.openai.com/v1/chat/completions",
            json={"model": "gpt-3.5-turbo", "messages": [{"role": "user", "content": prompt}]},
            timeout=30  # 总超时控制
        ) as resp:
            if resp.status == 429:
                retry_after = int(resp.headers.get("Retry-After", 1))
                await asyncio.sleep(retry_after)
                raise Exception("Rate limited")
            return await resp.json()
    except asyncio.TimeoutError:
        print("请求超时，触发重试")
        raise

async def main():
    # 全局复用连接池
    async with aiohttp.ClientSession(connector=aiohttp.TCPConnector(limit=100, force_close=False)
    ) as session:
        tasks = [chat_completion(session, f"测试问题{i}") for i in range(10)]
        await asyncio.gather(*tasks)

asyncio.run(main())