ChatGPT高频问答场景下的页面卡死问题分析与解决方案

1次阅读

没有评论

共计 1826 个字符，预计需要花费 5 分钟才能阅读完成。

在开发基于 ChatGPT 的问答系统时，我们经常会遇到用户频繁提问导致页面卡死的情况。这主要是因为传统的同步请求处理模式存在以下瓶颈：

每个请求都需要等待 ChatGPT 的完整响应后才能继续处理下一个请求
高并发场景下，服务器线程 / 进程会被迅速占满
长时间运行的 AI 模型推理会阻塞 I / O 事件循环
浏览器主线程被阻塞导致 UI 无响应

通过引入 RabbitMQ 或 Kafka 等消息队列，我们可以将请求处理流程解耦：

前端发送问题到 API 网关
网关将问题发布到消息队列
独立的工作者进程消费队列并调用 ChatGPT API
处理完成后将结果存入数据库

为了避免用户等待时的空白期，我们采用 WebSocket 实现：

建立持久连接推送处理状态（排队中 / 处理中）
实时返回部分生成结果（流式传输）
最终完成时发送完整响应

对于高频重复问题，引入多级缓存策略：

短期缓存：Redis 存储最近 10 分钟的问答对
长期缓存：对通用性问题建立知识库
相似问题匹配：使用向量数据库做语义缓存

// 消息队列生产者
const amqp = require('amqplib');

async function publishQuestion(question) {const conn = await amqp.connect('amqp://localhost');
  const channel = await conn.createChannel();

  const queue = 'chatgpt_questions';
  await channel.assertQueue(queue, { durable: true});

  channel.sendToQueue(queue, 
    Buffer.from(JSON.stringify({
      question,
      timestamp: Date.now()})),
    {persistent: true}
  );

  console.log(`[x] Sent ${question}`);
  setTimeout(() => conn.close(), 500);
}

// 消费者处理逻辑
const {ChatGPTAPI} = require('chatgpt');

async function processQuestion(msg) {const content = msg.content.toString();
  const {question} = JSON.parse(content);

  try {const api = new ChatGPTAPI({ apiKey: process.env.OPENAI_KEY});
    const res = await api.sendMessage(question, {onProgress: (partialResponse) => {
        // 通过 WebSocket 推送部分结果
        websocketServer.clients.forEach(client => {
          client.send(JSON.stringify({
            status: 'processing',
            text: partialResponse.text
          }));
        });
      }
    });

    // 存储最终结果
    await cache.set(`chatgpt:${question}`, res.text, 'EX', 600);

    channel.ack(msg);
  } catch (err) {console.error(` 处理失败: ${err}`);
    channel.nack(msg);
  }
}