ChatGPT自定义功能深度解析：从API调用到个性化模型调优

1次阅读

共计 2737 个字符，预计需要花费 7 分钟才能阅读完成。

在将 ChatGPT API 集成到实际业务中时，开发者常遇到几个典型问题：

响应延迟问题：当用户量增加时，API 响应时间不稳定，影响用户体验
上下文丢失：长对话中模型偶尔会 ” 忘记 ” 之前的对话内容
输出不可控：同样的 prompt 可能产生差异较大的回复，影响业务一致性

这些问题直接影响了 AI 产品的可靠性和用户体验，需要通过合理的 API 参数配置和工程优化来解决。

控制生成文本随机性的两个主要参数：

参数	英文名	取值区间	适用场景	注意事项
温度参数	temperature	0-2	需要确定性回答时设低(0.2)，创意内容设高(0.8)	过高会导致输出不连贯
核采样	top_p	0-1	配合 temperature 使用，通常 0.7-0.9	设置过低会限制词汇多样性

实际测试数据：

# 测试不同参数组合的效果
responses = {
    "temp0.2_topP0.5": "严谨但略显呆板的回答",
    "temp0.7_topP0.9": "平衡了创意和连贯性的回答",  
    "temp1.2_topP1.0": "非常创意但可能偏离主题的回答"
}

import openai
from tenacity import retry, stop_after_attempt, wait_exponential

# 符合 PEP8 的 API 封装类
class ChatGPTAPI:
    def __init__(self, api_key):
        openai.api_key = api_key

    @retry(stop=stop_after_attempt(3), 
           wait=wait_exponential(multiplier=1, min=4, max=10))
    def get_response(self, prompt, temperature=0.7, max_tokens=150):
        """
        Get response from ChatGPT with error handling
        :param prompt: input text (str)
        :param temperature: creativity level (float 0-2)
        :param max_tokens: max length of response (int)
        :return: API response (dict)
        """
        try:
            response = openai.ChatCompletion.create(
                model="gpt-3.5-turbo",
                messages=[{"role": "user", "content": prompt}],
                temperature=temperature,
                max_tokens=max_tokens
            )
            return response.choices[0].message.content

        except Exception as e:
            print(f"API Error: {str(e)}")
            return None

import aiohttp
import asyncio

async def async_chat_completion(prompts):
    """
    Batch process prompts asynchronously
    :param prompts: list of input texts
    :return: list of responses
    """
    async with aiohttp.ClientSession() as session:
        tasks = []
        for prompt in prompts:
            task = asyncio.create_task(
                session.post(
                    "https://api.openai.com/v1/chat/completions",
                    json={
                        "model": "gpt-3.5-turbo",
                        "messages": [{"role": "user", "content": prompt}]
                    },
                    headers={"Authorization": f"Bearer {API_KEY}"}
                )
            )
            tasks.append(task)

        responses = await asyncio.gather(*tasks)
        return [await r.json() for r in responses]

使用指数退避 (exponential backoff) 策略：

from tenacity import retry, stop_after_attempt, wait_exponential

@retry(stop=stop_after_attempt(5),
       wait=wait_exponential(multiplier=1, min=4, max=60))
def call_api_with_retry():
    # API 调用代码

import re

def sanitize_input(text):
    """
    Filter sensitive information before sending to API
    :param text: user input string
    :return: sanitized text
    """
    patterns = [r"\b\d{4}[-\.\s]?\d{4}[-\.\s]?\d{4}[-\.\s]?\d{4}\b",  # 信用卡号
        r"\b\d{3}-?\d{2}-?\d{4}\b"  # SSN
    ]

    for pattern in patterns:
        text = re.sub(pattern, "[REDACTED]", text)
    return text