电脑端ChatGPT高效使用指南：从API接入到本地化部署

2次阅读

没有评论

共计 2389 个字符，预计需要花费 6 分钟才能阅读完成。

网页版 ChatGPT 虽然使用方便，但对于开发者来说存在几个关键问题：

功能定制困难：无法深度定制对话流程、界面和功能
数据隐私风险：所有对话数据经过 OpenAI 服务器，敏感信息可能泄露
API 限制：网页版无法实现高并发调用和系统集成
响应延迟：高峰时段响应时间不稳定

优点：官方维护、功能最新、文档齐全
缺点：按 token 计费（$0.002/1k tokens），高峰时段可能限流
延迟：200-500ms（根据官方 SLA）

优点：简化调用流程，提供额外功能
缺点：版本滞后，可能存在安全隐患
成本：通常免费但功能受限

优点：完全掌控，数据不出内网
缺点：需要 GPU 资源，部署复杂
成本：初始投入高（服务器 + 模型许可证）

import openai
from tenacity import retry, stop_after_attempt, wait_exponential

@retry(stop=stop_after_attempt(3), wait=wait_exponential(multiplier=1, min=4, max=10))
def chat_with_gpt(messages):
    response = openai.ChatCompletion.create(
        model="gpt-3.5-turbo",
        messages=messages,
        stream=True,  # 启用流式响应
        temperature=0.7
    )

    for chunk in response:
        content = chunk['choices'][0].get('delta', {}).get('content', '')
        if content:
            yield content

const axios = require('axios');
const {Transform} = require('stream');

class SSEParser extends Transform {_transform(chunk, encoding, callback) {const data = chunk.toString().split('\n\n').filter(Boolean);
    data.forEach(event => {if (event.includes('data: [DONE]')) return;
      try {const json = JSON.parse(event.replace('data:', ''));
        this.push(json.choices[0]?.delta?.content || '');
      } catch (e) {/* 忽略解析错误 */}
    });
    callback();}
}

async function chatWithGPT(messages) {
  const response = await axios({
    method: 'post',
    url: 'https://api.openai.com/v1/chat/completions',
    data: {
      model: 'gpt-3.5-turbo',
      messages,
      stream: true
    },
    responseType: 'stream',
    headers: {'Authorization': `Bearer ${process.env.OPENAI_KEY}` }
  });

  return response.data.pipe(new SSEParser());
}

使用 undici 库（Node.js）或aiohttp（Python）创建连接池，建议设置：

最大连接数：根据 QPS 需求（通常 10-20）
超时时间：30 秒
重试策略：指数退避

import redis
import pickle

r = redis.Redis(host='localhost', port=6379, db=0)

def cache_conversation(user_id, messages):
    # 序列化并存储对话历史
    r.setex(f'chat:{user_id}', 3600, pickle.dumps(messages))

def get_cached_conversation(user_id):
    # 获取并反序列化
    data = r.get(f'chat:{user_id}')
    return pickle.loads(data) if data else []

使用 tiktoken 库精确计算
中文 token 通常是字符数的 1.5- 2 倍
预留 20% 的 token 余量避免截断

def sanitize_input(text):
    sensitive_patterns = [r'\b\d{4}[-]?\d{4}[-]?\d{4}[-]?\d{4}\b',  # 信用卡号
        r'\b\d{3}-?\d{2}-?\d{4}\b'  # SSN
    ]
    for pattern in sensitive_patterns:
        text = re.sub(pattern, '[REDACTED]', text)
    return text