ChatGPT网站源码解析：从零搭建智能对话系统的实战指南

1次阅读

共计 1963 个字符，预计需要花费 5 分钟才能阅读完成。

传统对话系统通常采用规则匹配或小规模机器学习模型，响应速度较快，但缺乏上下文理解和生成能力。而 GPT-3.5+ 等大语言模型带来了革命性的变化，同时也引入了新的技术挑战：

流式响应：GPT 模型生成文本是逐字进行的，传统 HTTP 请求 - 响应模式无法实时展示
长对话上下文管理：大模型对上下文长度有限制，需要智能的 token 计数和截断策略
API 延迟：模型推理时间较长，需要考虑超时处理和用户体验优化

优点：实现简单，兼容性好
缺点：需要轮询获取完整响应，连接开销大

POST /chat HTTP/1.1
Content-Type: application/json
Authorization: Bearer {token}

{
  "message": "你好",
  "conversation_id": "123"
}

优点：全双工通信，适合实时对话
缺点：实现复杂度较高，需要额外连接管理

// WebSocket 客户端示例
const socket = new WebSocket('wss://api.example.com/chat');
socket.onmessage = (event) => {console.log('收到消息:', event.data);
};

from fastapi import FastAPI, Request, Depends
from fastapi.security import HTTPBearer

app = FastAPI()
security = HTTPBearer()

@app.post("/chat")
async def chat_endpoint(request: Request, token: str = Depends(security)):
    # JWT 验证和速率限制
    verify_token(token.credentials)
    check_rate_limit(request.client.host)

    # 流式响应
    async def generate():
        async for chunk in openai.ChatCompletion.create(
            model="gpt-3.5-turbo",
            messages=[{"role": "user", "content": "你好"}],
            stream=True
        ):
            yield chunk.choices[0].delta.get("content", "")

    return StreamingResponse(generate(), media_type="text/event-stream")

// React 组件示例
function ChatBox() {const [messages, setMessages] = useState([]);

  const handleSend = (message) => {const eventSource = new EventSource(`/chat?message=${encodeURIComponent(message)}`);

    eventSource.onmessage = (e) => {setMessages(prev => [...prev, e.data]);
    };

    eventSource.onerror = () => {eventSource.close();
    };
  };

  return (
    <div>
      {messages.map((msg, i) => (<div key={i}>{msg}</div>
      ))}
    </div>
  );
}

import redis

r = redis.Redis()

def save_conversation(user_id, conversation):
    # 保存对话历史，设置 TTL
    r.setex(f"conv:{user_id}", 3600, json.dumps(conversation))