ChatGPT流传输中断问题解析：从原理到实战避坑指南

1次阅读

没有评论

共计 1744 个字符，预计需要花费 5 分钟才能阅读完成。

当使用 ChatGPT API 进行流式传输（Streaming）时，最让人头疼的就是看到 正在等待完整消息…的提示。这种情况通常发生在：

长文本生成：响应内容超过单个 TCP 包容量（通常 1 -2KB）时
高延迟网络：跨国 API 调用中 RTT（Round-Trip Time）超过 200ms 时
服务端限流：触发 API 速率限制时的保护性中断

通过 Wireshark 抓包可以看到，正常流传输时 TCP 会保持 ESTABLISHED 状态，而中断时会出现：

客户端重复发送 [ACK] 确认包
服务端突然发送 [RST] 重置连接
TLS 层出现Alert Protocol: Close Notify

适用于临时性网络抖动，核心逻辑：

# Python 示例（aiohttp）async def retry_with_backoff():
    base_delay = 1  # 初始延迟 1 秒
    max_retries = 5
    jitter = random.uniform(0, 0.5)  # 添加随机抖动

    for attempt in range(max_retries):
        try:
            async with aiohttp.ClientSession() as session:
                async with session.post(API_URL, stream=True) as resp:
                    async for chunk in resp.content.iter_chunked(1024):
                        yield chunk.decode()
            break
        except Exception as e:
            await asyncio.sleep(base_delay * (2 ** attempt) + jitter)

通过定期发送空行维持连接：

// Node.js 示例
const eventSource = new EventSource('/stream');
eventSource.onmessage = (e) => {if(e.data === '\n') return; // 忽略心跳
  console.log(JSON.parse(e.data));
};

// 服务端每 15 秒发送换行符
setInterval(() => res.write('\n'), 15000);

React 实现示例：

function StreamingDisplay() {const [chunks, setChunks] = useState([]);

  useEffect(() => {const saved = localStorage.getItem('stream_cache');
    if(saved) setChunks(JSON.parse(saved));

    const eventSource = new EventSource('/stream');
    eventSource.onmessage = (e) => {
      setChunks(prev => {const newData = [...prev, e.data];
        localStorage.setItem('stream_cache', JSON.stringify(newData));
        return newData;
      });
    };
  }, []);

  return <div>{chunks.map((c,i) => <p key={i}>{c}</p>)}</div>;
}