ChatGPT响应慢？从架构到代码的全面优化指南

1次阅读

共计 2592 个字符，预计需要花费 7 分钟才能阅读完成。

最近在项目中集成 ChatGPT API 时，发现响应速度经常不稳定，有时甚至需要等待 10 秒以上。经过一系列排查和优化，最终将平均响应时间降低了 60%。这篇笔记记录了我的完整优化思路和实操步骤，希望对遇到同样问题的开发者有所帮助。

网络层分析：
使用 Wireshark 抓包发现，每次请求约有 300ms 消耗在 TCP 三次握手和 SSL/TLS 协商上
典型的 HTTP 请求生命周期分解：
- DNS 查询：50-100ms
- TCP 握手：100-150ms
- SSL 握手：150-200ms
- API 处理：200-3000ms（取决于 prompt 复杂度）
- 数据传输：50-200ms（响应内容越长耗时越多）
服务端识别：
通过响应头中的 x-request-id 和 OpenAI 的日志接口，确认部分延迟源自服务端排队
高峰期观察到服务端处理时间（从收到请求到开始响应）可达 2 秒以上

使用 aiohttp 代替 requests 实现连接复用，关键配置参数：

import aiohttp

async def create_session():
    connector = aiohttp.TCPConnector(
        limit=20,  # 最大连接数
        limit_per_host=5,  # 单主机并发限制
        enable_cleanup_closed=True,  # 自动清理关闭的连接
        ssl=False  # 如果走代理可关闭 SSL 验证
    )
    return aiohttp.ClientSession(connector=connector)

调优建议：
– 根据服务器 CPU 核心数设置limit（建议核心数×3）
– 监控 ESTABLISHED 状态的连接数：netstat -an | grep ESTABLISHED | wc -l

将多个独立 prompt 合并为单个请求：

async def batch_prompts(session, prompts):
    payload = {
        "model": "gpt-3.5-turbo",
        "messages": [{"role": "user", "content": p} 
            for p in prompts
        ],
        "max_tokens": 100
    }
    async with session.post(
        "https://api.openai.com/v1/chat/completions",
        json=payload,
        headers={"Authorization": f"Bearer {API_KEY}"}
    ) as resp:
        return await resp.json()

注意事项：
– 单个请求的 prompt 数量不超过 10 个（避免触发 API 限制）
– 总 token 数控制在模型上下文窗口的 80% 以内

对于长文本生成，使用流式接收可以显著提升首包速度：

async def stream_response(session, prompt):
    async with session.post(
        "https://api.openai.com/v1/chat/completions",
        json={
            "model": "gpt-4",
            "messages": [{"role": "user", "content": prompt}],
            "stream": True
        },
        headers={"Authorization": f"Bearer {API_KEY}"}
    ) as resp:
        buffer = []
        async for chunk in resp.content:
            buffer.append(chunk.decode())
            # 关键：定期清理内存
            if len(buffer) > 100:
                process_data(''.join(buffer))
                buffer.clear()
        return ''.join(buffer)

实现指数退避（Exponential Backoff）算法：

import asyncio
import random

async def request_with_retry(session, payload):
    retries = 0
    while True:
        try:
            async with session.post(API_URL, json=payload) as resp:
                if resp.status == 429:
                    wait = min(2 ** retries + random.uniform(0, 1), 60)
                    await asyncio.sleep(wait)
                    retries += 1
                    continue
                return await resp.json()
        except Exception as e:
            print(f"Request failed: {str(e)}")
            await asyncio.sleep(1)

测试不同区域的延迟表现：

区域	平均延迟	适用场景
us-east-1	150ms	北美用户
ap-northeast-1	350ms	亚洲用户
eu-west-1	200ms	欧洲用户

建议：
– 使用 ping api.openai.com 测试本地到各区域的延迟
– 考虑使用 CDN 缓存静态资源

使用 Locust 进行压力测试（模拟 100 并发用户）：

from locust import HttpUser, task, between

class ChatGPTUser(HttpUser):
    wait_time = between(1, 3)

    @task
    def send_request(self):
        self.client.post("/v1/chat/completions", 
            json={"model": "gpt-3.5-turbo", "messages": [...]},
            headers={"Authorization": "Bearer xxx"}
        )

优化前后对比数据：