从零实现软件中嵌入ChatGPT自动生成文字：技术选型与工程实践

3次阅读

共计 2020 个字符，预计需要花费 6 分钟才能阅读完成。

在当今的软件开发中，集成 AI 文本生成功能变得越来越普遍，尤其是在客服自动回复和内容创作辅助等场景。然而，开发者在实际集成过程中常常面临三大挑战：

API 延迟高：同步调用会导致用户体验下降，尤其是在高并发场景下。
生成内容不可控：AI 生成的文本可能包含敏感或不适当内容，需要额外的过滤机制。
计费成本优化：频繁调用 API 可能导致费用激增，如何优化调用频率和选择合适的模型成为关键。

连接池管理
SDK：内置 Keep-Alive 机制，复用 TCP 连接，显著减少握手开销。
REST API：每次请求都是短连接，高并发时性能下降明显。
流式响应处理
SDK：原生支持流式响应（Streaming Response），适合逐字生成场景。
REST API：需手动实现分块接收逻辑，代码复杂度较高。
错误重试机制
SDK：内置指数退避（Exponential Backoff），自动处理临时性故障。
REST API：需自行实现重试逻辑，容易遗漏边界条件。

import aiohttp
import os
from dotenv import load_dotenv

load_dotenv()

async def generate_text(prompt):
    headers = {'Authorization': f'Bearer {os.getenv("OPENAI_KEY")}',
        'Content-Type': 'application/json'
    }
    payload = {
        'model': 'gpt-3.5-turbo',
        'messages': [{'role': 'user', 'content': prompt}],
        'temperature': 0.7
    }

    async with aiohttp.ClientSession() as session:
        async with session.post(
            'https://api.openai.com/v1/chat/completions',
            json=payload,
            headers=headers,
            timeout=10
        ) as response:
            if response.status == 200:
                data = await response.json()
                return data['choices'][0]['message']['content']
            else:
                raise Exception(f'API error: {response.status}')

const {OpenAI} = require('openai');
const openai = new OpenAI(process.env.OPENAI_KEY);

async function streamResponse(prompt) {
  const stream = await openai.chat.completions.create({
    model: 'gpt-4',
    messages: [{role: 'user', content: prompt}],
    stream: true,
  });

  for await (const chunk of stream) {process.stdout.write(chunk.choices[0]?.delta?.content || '');
  }
}