ChatGPT国内API接入实战：从认证到高并发优化的全链路指南

1次阅读

共计 1851 个字符，预计需要花费 5 分钟才能阅读完成。

在国内调用 ChatGPT API 时，开发者常遇到三个典型问题：

网络抖动：跨地区访问导致的 TCP 连接不稳定，表现为频繁的 502 Bad Gateway 错误
时区差异：JWT 令牌过期时间与服务器时间不同步引发 401 Unauthorized
敏感词过滤：直接返回的内容可能触发监管规则，需要客户端做二次处理

通过复用 TCP 连接降低握手延迟，以下是关键实现逻辑：

type ConnPool struct {
    clients chan *http.Client  // 缓冲通道实现连接池
    mu      sync.Mutex
    maxSize int
}

// 初始化包含 HTTP/ 2 客户端的连接池
func NewPool(size int) *ConnPool {
    return &ConnPool{clients: make(chan *http.Client, size),
        maxSize: size,
    }
}

// 获取连接时优先复用已有客户端
func (p *ConnPool) Get() *http.Client {
    select {
    case client := <-p.clients:
        return client
    default:
        return &http.Client{Transport: &http2.Transport{}}
    }
}

使用定时任务提前刷新令牌避免中断：

class TokenManager:
    def __init__(self):
        self._token = None
        self._refresh_time = 0

    @property
    def token(self):
        if time.time() > self._refresh_time - 300:  # 提前 5 分钟刷新
            self._refresh_token()
        return self._token

    def _refresh_token(self):
        auth_url = "https://api.openai.com/v1/auth"
        payload = {"key": os.getenv("API_KEY")}
        response = requests.post(auth_url, json=payload)
        self._token = response.json()["access_token"]
        self._refresh_time = time.time() + 3600  # 1 小时有效期

class RateLimiter:
    def __init__(self, qps):
        self.window = deque()
        self.qps = qps

    def allow_request(self):
        now = time.time()
        # 移除超出 1 秒窗口的请求记录
        while self.window and now - self.window[0] > 1:
            self.window.popleft()

        if len(self.window) < self.qps:
            self.window.append(now)
            return True
        return False

429 Too Many Requests：采用指数退避 (exponential backoff) 重试，初始间隔建议 2 秒
502 Bad Gateway：立即重试但不超过 3 次，第三次失败后切换备用 Endpoint

当超过 max_tokens 限制时：

按句子边界拆分文本
为每个分块保留 20% 重叠内容保证连贯性
添加分块标记如 [Part 1/3] 辅助 AI 理解

sequenceDiagram
    Client->>+API: 发送原始请求
    API-->>-Client: 返回敏感词错误
    Client->>+LocalDB: 查询预设回复模板
    LocalDB-->>-Client: 返回合规内容
    Client->>User: 显示安全回复