ChatGPT 电脑端集成方案：从 API 调用到本地化部署的实战指南

1次阅读

共计 1859 个字符，预计需要花费 5 分钟才能阅读完成。

在电脑端集成 ChatGPT 时，开发者常遇到以下问题：

API 限流 ：OpenAI 对免费账户有严格的每分钟请求限制（如 3-5 次 / 分钟），付费账户也可能因突发流量触发限流
网络延迟 ：跨地域 API 调用可能因网络波动导致响应时间超过 10 秒，影响用户体验
上下文管理 ：多轮对话需要维护历史消息，但长上下文（如超过 4096 token）会显著增加 API 成本和响应时间

直接 API 调用
优点：实现简单，无需额外基础设施
缺点：受网络延迟和限流影响大，不适合高频场景
本地代理服务
优点：可添加缓存层、实现请求合并，降低直接调用次数
缺点：需要维护代理服务器，仍有网络延迟
模型轻量化部署
优点：完全本地运行，延迟最低
缺点：需要 GPU 资源，模型效果略逊于官方 API

import openai
from tenacity import retry, stop_after_attempt, wait_exponential

@retry(stop=stop_after_attempt(3), wait=wait_exponential(multiplier=1, min=4, max=10))
def chat_completion_with_retry(messages):
    return openai.ChatCompletion.create(
        model="gpt-3.5-turbo",
        messages=messages,
        temperature=0.7
    )

class ChatContext:
    def __init__(self, max_tokens=3000):
        self.history = []
        self.max_tokens = max_tokens

    def add_message(self, role, content):
        self.history.append({"role": role, "content": content})
        self._trim_history()

    def _trim_history(self):
        # 简化的 token 计数（实际应使用 tiktoken 库）while sum(len(m["content"]) for m in self.history) > self.max_tokens:
            self.history.pop(0)

from datetime import timedelta
from django.core.cache import cache  # 或其他缓存后端

def get_cached_response(prompt):
    cache_key = f"chatgpt_{hash(prompt)}"
    if cached := cache.get(cache_key):
        return cached

    response = chat_completion_with_retry([{"role": "user", "content": prompt}])
    cache.set(cache_key, response, timedelta(hours=24))
    return response