ChatGPT AI问答助手的技术实现与避坑指南：从原理到生产环境部署

1次阅读

共计 1733 个字符，预计需要花费 5 分钟才能阅读完成。

在构建 AI 问答助手时，首先需要选择合适的模型版本。目前 OpenAI 提供了 GPT-3.5 和 GPT- 4 两种主要版本，各有特点和适用场景。

GPT-3.5
优点：响应速度快，成本较低（约 $0.002/1k tokens）
缺点：复杂逻辑处理能力有限，上下文理解深度一般
适用场景：简单问答、客服机器人、内容摘要等基础应用
GPT-4
优点：更强的推理能力，更准确的答案（约 $0.06/1k tokens）
缺点：响应时间略长，成本较高
适用场景：专业领域咨询、复杂逻辑推理、创意内容生成

混合使用模型：基础问答用 GPT-3.5，复杂问题路由到 GPT-4
设置 max_tokens 限制：防止生成长篇大论
使用流式响应：减少用户等待时间

import openai
from tenacity import retry, stop_after_attempt, wait_exponential

# 初始化客户端
openai.api_key = "your-api-key"

@retry(stop=stop_after_attempt(3), wait=wait_exponential(multiplier=1, min=4, max=10))
def chat_completion(messages, model="gpt-3.5-turbo", temperature=0.7):
    try:
        response = openai.ChatCompletion.create(
            model=model,
            messages=messages,
            temperature=temperature,
            max_tokens=1000
        )
        return response.choices[0].message.content
    except Exception as e:
        print(f"API 调用失败: {str(e)}")
        raise

错误处理：使用 tenacity 实现自动重试
限流机制：令牌桶算法控制请求频率
缓存策略：Redis 缓存高频问题答案

使用 tiktoken 库精确计算 token 数量
当对话历史超过模型限制时（如 4096 tokens）：
丢弃最早的消息
保留系统提示和最近对话
重要信息优先保留

短期会话：内存存储（适合短周期对话）
长期会话：数据库存储会话 ID 和消息历史
混合方案：Redis 缓存活跃会话，数据库持久化

异步 IO 处理请求（FastAPI/AsyncIO）
请求批处理（合并相似问题）
预加载常用模型

流式传输（stream=True）
前端逐步显示结果
设置合理的超时时间

预热机制：定期发送保持活跃请求
备用模型：当主模型不可用时降级处理

API 调用成功率
平均响应时间
Token 使用量
错误类型分布

重试机制（带退避）
熔断模式（超过阈值暂停请求）
优雅降级（返回缓存或简化答案）

每日预算限制
按用户 /IP 限流
敏感操作二次确认

from fastapi import FastAPI
from pydantic import BaseModel

app = FastAPI()

class Query(BaseModel):
    question: str
    conversation_id: str = None

@app.post("/ask")
async def ask_question(query: Query):
    # 这里添加你的实现逻辑
    return {"answer": "示例回答"}