如何安全高效地集成免费的ChatGPT API：架构设计与避坑指南

2次阅读

没有评论

共计 2279 个字符，预计需要花费 6 分钟才能阅读完成。

免费 ChatGPT API 虽然降低了使用门槛，但开发者需要面对几个关键挑战：

速率限制 ：免费 API 通常有严格的每分钟 / 每天调用次数限制，超出会导致请求被拒绝。
响应延迟 ：在高峰时段，API 响应时间可能从几百毫秒激增至数秒，影响用户体验。
可用性波动 ：免费服务可能随时调整策略或临时不可用，需要设计容错机制。

针对免费 API 的特性，开发者可以考虑以下三种方案：

直接调用 ：简单但脆弱，适合低频、非关键场景。
代理层设计 ：增加中间层处理限流、重试和缓存，平衡性能与稳定性。
混合部署 ：结合免费 API 与本地模型，在 API 不可用时回退到基础功能。

推荐大多数生产环境使用代理层设计，以下将重点展开。

import time
import requests

def call_with_retry(prompt, max_retries=3, initial_delay=0.5):
    delay = initial_delay
    for attempt in range(max_retries):
        try:
            response = requests.post(
                'https://api.free-chatgpt.com/v1/chat',
                json={'prompt': prompt},
                timeout=10
            )
            response.raise_for_status()
            return response.json()
        except Exception as e:
            if attempt == max_retries - 1:
                raise
            time.sleep(delay)
            delay *= 2  # 指数退避

class TokenBucket {constructor(capacity, refillRate) {
        this.capacity = capacity;
        this.tokens = capacity;
        this.lastRefill = Date.now();
        this.refillRate = refillRate; // tokens/ms
    }

    consume(tokens) {this.refill();
        if (this.tokens >= tokens) {
            this.tokens -= tokens;
            return true;
        }
        return false;
    }

    refill() {const now = Date.now();
        const elapsed = now - this.lastRefill;
        this.tokens = Math.min(
            this.capacity,
            this.tokens + elapsed * this.refillRate
        );
        this.lastRefill = now;
    }
}

// 使用示例：每分钟限流 10 次
const bucket = new TokenBucket(10, 10 / (60 * 1000));

from collections import deque

class DialogueManager:
    def __init__(self, max_history=5):
        self.sessions = {}
        self.max_history = max_history

    def get_context(self, session_id, new_prompt):
        if session_id not in self.sessions:
            self.sessions[session_id] = deque(maxlen=self.max_history)

        context = '\n'.join(self.sessions[session_id])
        self.sessions[session_id].append(new_prompt)
        return context

使用正则表达式匹配常见敏感词模式：

import re

sensitive_pattern = re.compile(r'( 暴力 | 仇恨 | 赌博 | 毒品)', re.IGNORECASE)

def sanitize_input(text):
    return sensitive_pattern.sub('[REDACTED]', text)

设置合理的 TTL（如 5 分钟），避免重复计算相同请求：

from datetime import timedelta
from django.core.cache import cache

cache_key = f'chatgpt:{hash(prompt)}'
cached_response = cache.get(cache_key)
if not cached_response:
    cached_response = call_api(prompt)
    cache.set(cache_key, cached_response, timedelta(minutes=5))

关键监控指标应包括：