面向开发者的ChatGPT：从零构建AI助手的实战指南

4次阅读

没有评论

共计 2769 个字符，预计需要花费 7 分钟才能阅读完成。

开发者在使用 ChatGPT API 时常常会遇到以下几个典型问题：

对话上下文丢失 ：默认情况下，ChatGPT API 是无状态的，每次调用都需要重新发送整个对话历史，不仅增加了 token 消耗，还可能导致上下文断裂。
长文本处理效率低 ：当对话历史较长时，API 响应时间会显著增加，影响用户体验。
敏感信息过滤困难 ：开发者需要手动处理用户输入中的敏感信息，否则可能导致隐私泄露或其他安全问题。

Completion API：适合单次请求的场景，比如生成文章、代码补全等。但缺乏对话上下文管理能力。
Chat API：专门为多轮对话设计，支持角色标记（system, user, assistant），更适合构建聊天机器人。

服务端维护 ：
优点：客户端无需存储历史记录，适合移动端或轻量级应用。
缺点：服务端需要额外存储和计算资源。
客户端维护 ：
优点：减少服务端压力，适合高频交互场景。
缺点：客户端需要处理历史记录的压缩和存储。

以下是一个 Python 示例，展示如何通过剪枝和摘要压缩对话历史：

def compress_history(messages, max_tokens=4096):
    """ 压缩对话历史以节省 token

    Args:
        messages: 对话历史列表，格式为 [{'role': 'user', 'content': '...'}, ...]
        max_tokens: 允许的最大 token 数

    Returns:
        压缩后的对话历史
    """current_tokens = sum(len(msg['content']) for msg in messages)

    while current_tokens > max_tokens and len(messages) > 1:
        # 移除最旧的一条非系统消息
        for i, msg in enumerate(messages):
            if msg['role'] != 'system':
                removed = messages.pop(i)
                current_tokens -= len(removed['content'])
                break

    return messages

Node.js 示例，展示如何处理流式响应以提升用户体验：

async function streamChatCompletion(messages) {
  const response = await openai.createChatCompletion({
    model: 'gpt-3.5-turbo',
    messages,
    stream: true
  }, {responseType: 'stream'});

  return new Promise((resolve) => {
    let fullContent = '';

    response.data.on('data', (chunk) => {const lines = chunk.toString().split('\n').filter(line => line.trim() !== '');

      for (const line of lines) {const message = line.replace(/^data: /, '');
        if (message === '[DONE]') {resolve(fullContent);
          return;
        }

        try {const parsed = JSON.parse(message);
          if (parsed.choices[0].delta.content) {const chunk = parsed.choices[0].delta.content;
            fullContent += chunk;
            process.stdout.write(chunk); // 实时输出到控制台
          }
        } catch (err) {console.error('Could not JSON parse stream message', message, err);
        }
      }
    });
  });
}

Python 示例，展示如何在 API 调用前过滤敏感词：

SENSITIVE_WORDS = ['密码', '信用卡', '身份证']  # 示例敏感词列表

def filter_sensitive_content(text):
    """ 过滤敏感内容

    Args:
        text: 用户输入的文本

    Returns:
        过滤后的文本和是否包含敏感词的标志
    """
    filtered = text
    is_sensitive = False

    for word in SENSITIVE_WORDS:
        if word in text:
            filtered = filtered.replace(word, '***')
            is_sensitive = True

    return filtered, is_sensitive

使用 Mermaid 语法绘制的推荐架构：

flowchart TD
    A[客户端] -->| 发送消息 | B(API 网关)
    B --> C{敏感词过滤}
    C -->| 安全 | D[对话管理服务]
    D --> E[压缩历史]
    E --> F[调用 OpenAI API]
    F -->| 流式响应 | G[返回给客户端]
    D --> H[日志存储]
    H --> I[脱敏处理]
    G --> J[客户端渲染]